Não, você não tem obrigação nenhuma.

E se o seu parceiro abrir mão dos filhos da ex em função de sua falta de colaboração na rotina doméstica de vocês já dá para você ver o tipo de pai que ele é, e as chances enormes dele abrir mão dos seus filhos também em função de outra mulher.

Obrigação você não tem, afinal, o filho é dele. O pai junto com a mãe biológica deveriam organizar as visitas em dias de folga, pois a finalidade das visitas é que a criança conviva com o pai, o que não está acontecendo.