posso negar o direito do pai de pegar nosso filho?

o pai do meu filho ficou esteve ao meu lado só até o quinto mês de gestação apos isso ele abriu mão da minha gravidez, pra ficar em festa amigos,bebidas e mulheres.... foi ai que eu me vendo sozinha voltei com o meu ex que hj moramos juntos novamente e que me ajudou muito. Bom assim que meu filho nasceu o pai veio e registrou e pega ele aos finais de semana as vezes e até dorme na casa dele pois a mãe dele ama muito meu filho tenho muita confiança sobre ela e meu bebe dez de um mês mama peito e mamadeira. O fato é que o pai dele não respeitou a chegada do meu filho e no mesmo mes que ele nasceu ele engravidou outra menina a qual ela tbm engravidou de propósito com medo de perde ele. e oq ele não fez pro meu filho ele vai fazer agr pra essa outra criança pq os dois ja estão morando juntos... A minha pergunta é a seguinte sou obrigada a deixa meu filho ir com ele sendo q ele esta morando com uma mulher que eu nem conheço q está gravida e que tbm não deo a minima pra chegada do meu filho e q eu nem sei se gosta ou não do meu filho? Ele disse que ia na justiça pra poder ter o direito de pegar o menino. Não me pagou pensão nenhuma ate agr e tbm não liga e nem manda msg pra saber se ele ta bem ou se precisa de alguma coisa. qm faz as coisas pelo meu filho é a mãe dele só que ela vai se muda pra longe.posso nega o direito dele de pegar o nosso filho? Pq ele nao cuida nem dele mesmo é a mulher dele é uma adolescente de 19 anos e nosso filho tem apenas 3 meses? E tbm como já estou casada nao aceito a visita dele em minha residência