Se ficou com vc é unilateral. Agora para sair do país aí terá que ter a concordância do pai.

Pode ser que vocês nunca tenham definido a guarda mas pelo seu relato a guarda de fato é sua. Isso porém não te da permissão para sair do país sem a autorização do pai, que pode suprida pela autorização judicial.