Meu ex não aceita o fim,e ameaça tirar nosso filho de mim

Tive um relacionamento de 03 anos com o pai do meu filho,moramos juntos apenas 07 meses, mas não deu certo...depois que engravidei ele fez da minha vida um inferno,o ciume era doentio,ele sempre emaçava tirar meu filho de mim,vivi horrores,agressão verbal e física,estava em um momento muito frágil e sentia muito medo.Bem depois que nosso filho nasceu isso continuou e não aguentei mais então nos separamos ele fez a maior confusão,mas nosso filho ficou comigo.Quero saber como entrar na justiça com um pedido de guarda e definir suas visitas,já q ele quer viver enfiado na minha casa e invade minha privacidade...Moro vizinho a casada minha mãe e tenho um irmão dependente químico e ele quer me afastar nosso filho da minha família por esse motivo,ele pode fazer isso? Na verdade ele não aceita o fim do nosso relacionamento e usa nosso filho como escudo e não acho isso justo...