Quais criterios o juiz analisa para a regulamentação da visita?

Meu filho tem 1 anos e 4 meses, em todo esse tempo o pai apenas o viu 6 vezes, e agora quer que passe o final de ano com ele (24 e 25 de dezembro) na casa da mae dele, porem amamento meu filho durante a noite, e por esse motivo disse a ele que se quisesse passar o dia com ele não via problema nenhum, porem o mesmo agora veio me ameaçar que vai pedir a regularização das visitas. Ate ai não vejo problemas nenhum em pedir, mas quero saber quais criterios o juiz avalia para dar a sentença, pois ele é um pai ausente apesar de pagar a pensao que nao foi regularizada. Ele so sabe coisas do filho porque de vez enquando digo algumas coisas e mando algumas fotos. Ainda, ele mora em outra cidade cerca de 400km da minha casa.