Sobre o pai pegar a filha para passar final de semana com ela

Boa tarde,tenho uma filha de 9 meses,ela ainda mama,e é muito apegada a mim,o pai dela me deixou ela estava com 1 mês de vida,e agora quer pegar a filha pra passar o fim de semana com ela,ou levar pra casa da atual mulher dele,onde mora a sogra,a mulher dele,o irmão dela que é usuário de drogas, o meu ex marido,fora que nessa casa só vive cheia de gente que não presta,e eu não permiti que ele a levasse,e ele falou que ia me colocar na justiça, nunca impedi dele ver a filha,ele vem o dia que quer,a hora que quer,vou pra casa da mãe dele é passo 2 dias lá pra família dele ter contato com ela,e o pai não ta nem aí, e agora tá dizendo que tem esse direito, gostaria de saber se ele pode ou não levar a filha dele?