Ter a guarda do filho não dá ao guardião direitos especiais, poderes especiais. Dá, isto sim, obrigações especiais.

Tendo ou não a guarda, tanto vc quanto o pai da criança tem de respeitar os direitos dela, ela é um cidadão que POR MERO ACASO é filhos de vcs.

E manda a lei que o pai autorize a mudança DA CRIANÇA para outra cidade, ou pelo menos a justiça autorize.

Portanto, busque a defensoria publica.