Sugiro que volte sim, fique na casa amigos ou parentes ao menos temporariamente, vc precisa da autorização do pai ou da justiça para que a criança mude de cidade, portanto, aguente uns meses até conseguir a autorização da justiça ou poderá ser a guarda revertida ao pai por pratica de alienação parental de sua parte.

pelo que entendi, ele autorizou a ida e agora quer que volte? depois de quanto tempo?

Procure a defensoria pública da cidade onde está morando para regulamentar a guarda, pensão e visitação da criança, bem como, suprimento de consentimento paterno para a mudança de cidade.