Depende de vários fatores, como a saúde e a segurança da criança, o bom senso e o equilíbrio entre os pais, e a decisão judicial sobre a guarda e as visitas.
Em geral, os tribunais têm decidido que somente a partir dos 2 anos a criança pode pernoitar na casa do pai, mas isso pode variar de acordo com cada caso.
Antes disso, o pai pode visitar o filho na casa da mãe ou levá-lo para passear por um período curto, desde que não prejudique a alimentação e o desenvolvimento da criança.
A mãe não é obrigada a receber a namorada do pai na sua casa, mas também não pode impedir o convívio do pai com o filho sem uma justificativa válida.
O ideal é que os pais entrem em um acordo sobre as visitas e regularizem isso judicialmente, para evitar conflitos e garantir os direitos e deveres de cada um.
Mais informações, vc pode ser mais especifica sobre seu caso com o pai da criança.
Já vi juiz conceder visita exclusiva ao pai a um bebê de três meses. Claro, fora das horas de amamentação. Quatro meses já é idade que muitos bebês estão na creche ou com cuidadora então o que impediria de estar com o pai? E usualmente pernoites só a partir de dois anos, mas claro, cada caso é analisado diante de fatos concretos.