Se o contato previr multa por desistência, você terá de pagá-la. Se não previr multa, mas se a outra parte provar que sofreu prejuízo em virtude de sua desistência, você pode ser obrigada a indenizá-la.

E não, o contrato não perdeu a validade só porque você pensa em desistir.