Calúnia não seria, dado que o adultério não é mais crime. Se a afirmação difamatória foi feita apenas pelo telefone, ficará a sua palavra contra a dela, já que ninguém mais ouviu. No máximo, o que vc pode provar é a existência da ligação dela. Na dúvida entre duas versões opostas, o juiz optará pela que leve a absolvição ("in dubio pro reo") . Se vc conseguir outra prova (alguém que porventura tenha ouvido a ofensa), poderá ingressar com uma ação penal privada, podendo o juiz já fixar na sentença o valor mínimo para indenização com relação ao dano moral.