O que eu posso fazer para não "perder" minha filha?

Sou militar, tenho uma filha de 2 anos e atualmente namorando com a mãe dela. Porém, moramos em casas diferentes. Eu moro com meus pais, e ela mora com a mãe (avó materna da minha filha). Ambos no RJ, na mesma cidade. Até o ano passado todos eles moravam em SP (avó e avô materno e minha namorada). O avô materno da minha filha também é militar e foi transferido para SP (que ainda reside lá). Na época estávamos separados e eu estava em outro relacionamento. Eu via minha filha uma vez por mês desde o primeiro mês de vida, até os 2 anos de idade dela. Não temos nada decidido na justiça sobre a guarda da nossa filha. Pago a pensão, e ajudo no que for preciso, principalmente no lado afetivo. Toda vez que brigamos, ela fala em voltar para SP. O que dificultaria minha relação e visitas a minha filha por questão de tempo e financeiras. Tenho medo dela me afastar da minha filha novamente, principalmente agora que criamos um vínculo afetivo maior. O que eu posso fazer para não "perder" minha filha?