Pai tem responsabilidade de dar segurança, saúde, dentre outros direitos e deveres junto ao filho. Se ele deseja a guarda ou visita pode regularizar judicalmente, voce sentira mais segura na autorização e também pode demonstrar se ele não detiver de condições atuais de estar com o filho sem supervisão. Recomendo procurar um advogado de sua região ou defensoria pública

O pai já bebia e usava drogas quando você engravidou? Ele trabalha e paga alimentos?

Pois bem: de qualquer forma ele é pai, terá direito de conviver com o filho. Se essas visitas serão assistidas ou na casa dele será uma questão dele não colocar a criança em risco. E mesmo que ele consiga a guarda compartilhada a criança continua morando com você e ele continua tendo o direito das visitas e a obrigação de pagar alimentos.

Como disse a colega: busque ajuda da justiça para regulamentar alimentos, guarda e visitas.