Isso não é dúvida jurídica e sim uma decisão de foro íntimo. Se os menores de idade estão bem com o pai e se por enquanto você não tem para onde ir não é melhor deixa-los onde estão?

Assim como ele também tenho a casa da minha mãe, onde posso ir e levá-los comigo. Eu nunca me afastei dos meus filhos. Vou trabalhar é erguer minha cabeça, mas quero eles do meu lado. Assim como eu ele tbem encontra-se desempregado

Se você tem para onde mudar-se com seus filhos faça o que ele fez: pegue as crianças e as traga com você. E se isso não for possível acione a justiça para reavê-los. O garoto de 22 ficará onde quiser, ok?