Você precisara que o pai autorize, visto que, não se pode limitar o direito do pai e sua família da convivência com o filho.

Se o pai não está nem aí ele autorizará a mudança..

Não poderá fazer residência fixa em outra cidade/estado sem autorização do pai, ou judicial.

O correto é possuir autorização do pai ou do juiz para mudar de estado. Caso mude sem comunicar caracterizará alienação parental o que pode implicar em reversão automática de guarda.