Pode um pai que nunca ajudou querer levar minha filha de 8 meses para a casa dele?

Minha filha tem 8 meses, nunca fui casada com o pai dela. Desde que estava grávida ele nunca me ajudou financeiramente, mesmo depois que ela nasceu, ele também nunca ajudou, desde a gravidez até hoje, eu quem pago TUDO da minha filha. Desde que terminamos eu deixei claro que a porta da minha casa sempre estaria aberta pra ele visitá-la, pois ele é o pai, mas ele visitou ela apenas uma única vez e não mostrou interesse em visitar. Tentei ajudar não indo na justiça cobrar pensão pois sei das condições dele e da família. Recentemente ele veio com história de que foi atrás de advogado pois ele quer exercer os direitos como pai e criar um vinculo com a filha e a familia dele, mas ele está querendo levar ela sem mim, de osasco (onde eu moro) até são bernardo do campo (onde ele mora). Quero saber como proceder e com quanto tempo de vida ela tem que ter pra ele levar ela sem mim, uma criança indefesa que só conhece a mãe. Deixando claro que ele quer exigir o direito de pai, mas NUNCA cumpriu a OBRIGAÇÃO dele com a criança.