O direito de visitação é do pai, bem a parentalidade não cessa com o fim da união. Ele deveria ficar com o filho mas vai de cada um. Os avós também têm este direito.

Sim eu jamais vou tirar esse direito da avó mas é que eu acho que ele deveria ficar um pouco mais com o menino ja que ele só vai pra la 2 vezes no mês

E se caso aconteça alguma coisa com meu filho tipo um acidente leve o grave e o pai não estiver presente ele que vai ser o principal responsável? Porque a visitação já está judicialmente legalizada

O pai não precisa ficar grudado com o filho. Durante os dias que a criança está com ele, contanto que a criança não esteja em risco, não é problema seu se ele está com a avó, com a madrasta ou com a empregada. Você também o deixa aos cuidados de terceiros e o pai não interfere. Se acontecer um acidente leve ou grave com o seu filho, seja na escola, seja na sua casa, seja na casa do pai ou da avó quem estiver com a criança providencia o socorro. E a depender da situação específica do acidente a polícia apura os fatos. Simples assim.