Advogado cobrando valores que não haviam sido combinados antes

Entrei com um processo na Justiça Federal para voltar a receber o beneficio de auxílio doença, o acordo que fiz com o advogado era que pagaria um valor inicial em mãos junto com a procuração e 20% do retroativo referente a aposentadoria quando a mesma fosse efetivada, ele abriu mão dos benefícios atrasado até porque na época eram de 1 mês e 10 dias, pedi para colocarmos tudo por escrito para não haver dúvidas mais ele me enrolou e nem o recibo do valor inicial me deu... garantiu que era causa ganha e que a tutela antecipada sairia rapidamente, que tinha contato que agilizariam minha causa, pois bem, a juiza não concedeu a tutela e exigiu que passasse por uma perícia médica para comprovar realmente minha incapacidade... 5 meses depois de entrar com o processo tive ganho de causa parcial, foi concedido o benefício e o pagamento dos valores atrasados, a aposentadoria foi negada mais iremos recorrer dessa decisão... agora o advogado quer receber 20% dos benefícios atrasados, disse que combinamos isso sim o que não é verdade... meu medo é que ele receba a RPV em meu nome pois tem a procuração, estou angustiado, estou afastado a 5 anos... fiquei 6 meses e 10 dias sem receber um tostão de benefício e sem ser aceito de volta pela empresa em que trabalhava, não vou dizer que passei fome mais fui obrigado a cortar gastos e atrasar dívidas... agora vem esse advogado fazer isso comigo de olho grande, não teria entrado com a ação nesses termos... custava ter feito um contrato de honorários? não fez por preguiça e desleixo e agora se sente na razão de querer receber uma valor que não foi acordado... pretendo destituir esse advogado e entrar com uma representação junto a OAB... O RPV não deve demorar a sair, alguém com experiência no assunto poderia me dizer se ele pode receber a RPV sem a minha presença? algumas informações que colhi pela internet é que os bancos não estão pagando os advogados sozinhos mesmo com a procuração... se me negar a pagar essa extorção o que poderá acontecer? repito, não existe contrato porque ele não quis fazer, nem me dar por escrito os valores ele quis, me sinto lesado