Destaco aqui três fragmentos significativos do Relatório Geral Chamamento Público 01/2023 divulgado na íntegra na internet que merecem atenção.
“Os protótipos não deveriam gerar “alucinações”, isto é, apresentar dados incorretos ou falsos.” p. 8
“A título de parâmetro, empresas que optaram por ferramentas de código aberto apresentaram um custo médio de US$ 44,50 (quarenta e quatro dólares e cinquenta centavos) para avaliar os 310 processos, ao passo que soluções em ambientes de nuvem de mercado indicaram despesas na faixa de US$99 (noventa e nove dólares) a US$200 (duzentos dólares) para avaliação do conjunto de dados em questão. Soluções que empregaram apenas ferramentas proprietárias apontaram custos médios de US$533 (quinhentos e trinta e três dólares), considerando uma utilização mensal proporcional ao volume de dados do chamamento.” p. 22
“Após a avaliação jurídica dos resumos produzidos, verificou-se que nenhuma solução foi capaz de atender integralmente aos requisitos apresentados. Em todos os casos, pelo menos um dos itens não foi indicado de modo satisfatório. Isto é, todos os relatórios deixaram de apresentar informações necessárias à adequada compreensão do processo judicial em questão, seja indicando-as parcialmente, indicando-as com equívoco ou deixando de indicá-las.” p. 23
O requisito explicitado no primeiro fragmento indica que as autoridades da cúpula do Judiciário parece ter se tornado presa fácil daquilo que poderia aqui ser chamado de “pensamento mágico”. Inteligências Artificiais são incapazes de não produzir alucinações, na verdade elas nem mesmo conseguem detectar quando estão ou não estão fazendo isso. O risco da produção de resultados incoerentes, incorretos, inadequados e contaminados por algum tipo de viés são inevitáveis, especialmente quando se fala de IA geradora de texto.
Em 2023 desenvolvi um teste de filosofia antiga para aplicar no ChatGPT e obtive um resultado extremamente inadequado. Um ano depois esse mesmo teste foi aplicado na Gemini AI e o resultado fornecido produziu a mesma inadequação. O problema parece ter a mesma origem. IAs atribuem valores específicos às palavras que estão presentes num prompt para calcular probabilidades e fornecer a melhor resposta com base nos bancos de dados a que tem acesso. Mas elas não são capazes de compreender contextos que podem ser associados ao prompt da mesma maneira que um ser humano.
“… na análise artificial de textos jurídicos, é necessário transformar um corpus textual (um conjunto de documentos, tais como o acervo de processos de um tribunal), em um espaço vetorial multidimensional, no qual um algoritmo possa trabalhar. O primeiro passo consiste em coletar e processar dados não tratados (ou ‘crus’), ou seja, textos jurídicos em linguagem natural. Em seguida, é necessário ‘tratar’ ou ‘normalizar’ tais dados através de diferentes processos. Isso é feito transformando-se todas as letras em minúsculas (assim, ‘Direito’ torna-se ‘direito) e reduzindo as palavras às suas raízes inflexionadas(‘pagaram’ e ‘pagou’ tornam-se ‘pag’ ou ‘pagar’). A tokenização remove caracteres especiais do texto, tais como acentos, hífens, pontuação, bem como certas palavras que são muito repetitivas e possuem pouco ou nenhum significado, tais como ‘e’ ‘do’, ‘a, ‘quem’, as assim chamadas ‘stop words’.
Esse processo também diz respeito ao tratamento de termos vizinhos, os quais podem ser aglutinados em tokens de ‘n’ termos (n-gramas), isto é, a frase ‘carro trafegando em alta velocidade’ pode ser apresentadaa em trigramas como ‘carro trafegando em’, ‘trafegando em alta’, ‘em alta velocidade’. A anotação auxilia na desambiguação de termos similares, inserindo informações úteis para definir o sentido em que uma palavra foi utilizada no texto, tal como sua classificação morfológica (verbos, substantivos, adjetivos ou advérbios) ou sintática (sujeito, objeto direto, objeto indireto etc.).” (Ensinando um robô a julgar, Daniel Henrique Arruda Boeing e Alexandre Morais da Rosa, editora Emais, Florianópolis, 2020, p. 32)
O Direito tal como existe na atualidade é o produto de uma longa evolução. Conceitos simples foram refinados, desdobrados e deram origem a novos conceitos aplicáveis aos fenômenos históricos que foram emergindo na sociedade. A linguagem jurídica é extremamente sofisticada e especializada. Em minha área do conhecimento (digo isso com a experiência de 34 anos de advocacia), as chamadas ‘stop words’ desempenham ou podem desempenhar uma função extremamente importante. No limite, as conjunções ‘e’ e ‘ou’ presentes numa cláusula contratual podem definir ou não o resultado de um processo.
Assim como alguém pode levar a IA a fornecer respostas inadequadas (caso do teste que eu desenvolvi), resultados alucinatórios podem ser produzidos de maneira não intencional ainda que o prompt tenha sido formulado de maneira criteriosa. As alucinações são inevitáveis. O risco da utilização dessa tecnologia para automatizar a produção de decisões judiciais complexas é evidente e nunca poderá ser descartada.
O segundo fragmento do relatório do STF diz respeito ao custo da IA. Ele parece baixo se for levado apenas a relação entre o preço e o número de processos analisados. Todavia, esse custo explode se levarmos em conta o estrago que a automatização de decisões pode causar à imagem do poder judiciário. O Estado moderno depende muito de sua credibilidade. Estados fracassados e incapazes de distribuir justiça não atraem investimentos estrangeiros e desestimulam o desenvolvimento econômico com recursos locais. A credibilidade de um Estado moderno está em grande medida alicerçada na segurança jurídica proporcionada pelo seu Sistema de Justiça.
A utilização de IAs geradoras de texto não é isenta de risco. Mas esse risco não pode ser mensurado levando-se em conta apenas o custo/benefício entre o preço e o número de processos analisados. Existem fatores econômicos e macroeconômicos relativos ao funcionamento do Sistema de Justiça que não podem ser desprezados quando se pretende ou não adotar a tecnologia de IA para automatizar a prolação de decisões judiciais. Isso para não mencionar aqui o perigo de violação em massa de direitos e garantias individuais outorgadas pela constituição aos cidadãos jurisdicionados.
O último fragmento do relatório é de extrema importância. Ele demonstra que todos as empresas que apresentaram seus produtos no STF não foram capazes de atender o requisito inicial. O relatório concluiu que “...nenhuma solução foi capaz de atender integralmente aos requisitos apresentados.” Isso poderia ser considerado previsível, pois o requisito inicial mencionado no início do referido (Os protótipos não deveriam gerar “alucinações”...) despreza ou ignora a realidade em favor da crença de que é possível criar uma IA que não produza resultados contendo erros, inadequações, alucinações ou contaminados por algum tipo de viés.
No texto que publiquei recentemente insisti no perigo da automatização da distribuição de justiça. De certa maneira, o relatório do STF comentado confirmou o que eu tenho dito. É melhor investir os recursos escassos do Sistema de Justiça no aumento do número de juízes e de servidores públicos. O uso de IAs deve ser limitado a tarefas corriqueiras, como a anexação de documentos aos autos dos processos, a prioridade de tramitação e a levada deles à conclusão para a prolação de decisões por juízes humanos.
