Tem que desfazer e deve ser pela via judicial

sim, é preciso! Apenas na via judicial, não poderá ser no cartório, por haver filhos menores.