Se tanto a genitora com o sua mãe concordarem fica fácil. Formalizem um acordo no CEJUSC ou por advogado que será homologado pela justiça.

E caso a genitora não queira, minha mãe pode pleitear a guarda total do meu filho?

Até pode; pedir a gente pode pedir tudo. Mas entre a mãe e uma avó 99% de chance da criança fique com a mãe.

Mesmo a mãe sendo negligente? Com alimentação e cuidados?

Você diz que fica com a criança aos finais de semana. Os outros cinco dias a criança fica com quem? Com a mãe ou com a avó paterna?

A criança ficando direto com a vó materna e a mãe tendo as visitas

Se a avó materna já tem a guarda de fato fica mais fácil conseguir a guarda judicial. Ainda assim não é certo e se a mãe quiser criar um grande caso, com estudo psicossocial por exemplo, adie sua viagem por um bom tempo.