Férias alternadas, sem o genitor. Oque fazer?

Preciso muito de orientação, tenho visita alternada com o pai do meu filho (de 08 anos de idade). Porém estou com problemas na divisão das férias, pois como o genitor trabalha viajando, nunca sei quem vai cuidar do meu filho, todos os dias passava a tarde ou dormia na casa de alguem (até pessoas que nunca ouvi dizer). Isso é legal? Meu filho já ficou sob cuidados de outro menor (15 anos), e uns três 03 meses me relatou que acordou durante a noite acordou e estava sozinho, chorou bastante até que uma vizinha foi até a casa (sogra do genitor). Isso está insustentável, ver meu único filho ficar a merce da sorte. Existe outros fatores como o ambiente que vive (pai e madrasta) ser habitado por pessoas de comportamento suspeito. Já ouvi diversas vezes sob uso de drogas nessa residencia, mas nada posso fazer pois não posso provar correto? Então, me ajudem, pois não consigo deitar minha cabeça no travesseiro e ter plena consciência que meu filho esta a merce de cuidados de terceiros, ou que posso perde-lo, e se isso acontecer a justiça infelizmente não o trará de volta para mim. Não consigo entender, porque a visita alternada é entre nós dois e ainda sim meu filho pode ficar nesse efeito "iô-iô" com outras pessoas. Outra duvida é, qual idade meu filho pode ter "poder de voz" nesta situação? Pois todas as vezes que ele me pergunta até quando ele precisa dormir fora de casa eu não sei e não tenho oque responder, pois tenho muito cuidado com qualquer dano psicologico que possa ser causado a ele, e não tenho intenção de afasta-lo do pai, mas que ele seja cuidado com responsabilidade pelo GENITOR e não por qualquer um.