Casada a 23 anos, tenho uma casa onde construi no terreno de herança, meu ex marido tem algum direito?

Sobre o valor do terreno ele não teria direito algum. Mas sobre o valor das benfeitorias construídas durante a união estável tem. Direito à metade do valor das benfeitorias. De forma que se metade do valor das benfeitorias + metade do valor do carro + metade do valor da moto for maior que o valor do carro + o valor da moto pode ser necessário que o imóvel inteiro vá a leilão para cobrir a diferença. E aí com o saldo do valor das vendas dos bens comuns do casal você tenta adquirir outra residência de menor valor.
Também tem de ver se o imóvel comporta divisão comoda meio a meio entre os dois caso em que você ficará com a sua parte do imóvel para continuar residindo em área menor mas sua. Mas se o imóvel for indivinizável nos termos da legislação municipal não é possível. Só resta a venda.