Nao se pode ter a guarda de um cidadão maior de idade que já alcançou a emancipação legal, como o de 23 anos. Depois dos 16 anos não se concede a guarda, apenas se nomeia o representante legal pois o adolescente já não é mais considerado incapaz civilmente.

A mãe de outra pessoa não pode requerer a guarda do filho dos outros, apenas em caso de confirmado risco de vida ou maus tratos ser requerido a representação legal do adolescente maior de 16 e menor de 18.

Agora, se vc está se referindo a guarda de um BEBÊ, qualquer dos ascendentes (pais e avós) ou outro parente (irmãos, tios, primos) da criança poderão requerer a guarda diante do quadro de ABANDONO, NEGLIGÊNCIA OU MAUS TRATOS por parte dos pais da criança.

Se seu pai aceita a situação é problema dele.

Se a mãe da genitora acredita no que vc disse, problema dela, se não for possível provar o que mencionei a avô pode até ser impedida de conviver com o neto se insistir em seu intento.