Resumo: É urgente e desejado o uso da inteligência artificial no processo judicial, inclusive na área de decisão. Os volumes persistentes do acervo processual e a emergência de novos e disruptivos ferramentais tecnológicos pressionam o Poder Judiciário à ação. A inteligência artificial (IA) anda poderosa, para o bem e para o mal. Seu acionamento requer seres humanos preparados (letrados, como se tem dito) para diminuir os riscos e amplificar os ganhos. Este artigo volta-se aos riscos de uso inadequado na decisão judicial, notadamente da enganosa facilidade das ferramentas que dão a todos os poderes até agora só desfrutados por programadores de computador (os prompts). As facilidades trazem consigo, como sempre, perigos. E a modelagem de soluções nelas baseadas não parece o caminho correto a ser adotado para aproximar tecnologia e Direito. O letramento, a confiança enganosa induzida por pseudo-treinamento, as alucinações e demais defeitos das ferramentas (vieses, por exemplo), as esperanças em supervisão ativa e não passiva, a difusão dos prompts de prateleira (prompts libraries) e as ameaças a princípios processuais inarredáveis nos Estados Democráticos de Direito são objeto de considerações/problematizações neste artigo. Menciona-se, também, o cenário posto pela Resolução CNJ 615, de impulsionamento ao uso da IA que, embora limite o uso para suporte à decisão, põe a necessidade de formação dos juristas para o uso, mas deveria incluir, também e firmemente, a compreensão das implicações jurídicas e éticas da adoção das novas tecnologias no decidir.
Palavras-chave: Inteligência artificial; prompts; letramento digital; resolução CNJ 615; alucinação; prompts de prateleira.
Sumário: Introdução. 1. O desafio do "letramento em IA". 2. O julgador confiante que acionar a opacidade da IA será responsabilizado. 3. Alucinações não são erros. 4. A questão da supervisão. 5. O prompt e os diferenciais dos casos concretos. 6. Riscos dos prompts de prateleira escolas de pensamento algorítmicas. 7. O fim dos princípios da juris dictio. Considerações finais. Referências bibliográficas.
Introdução
Prompt é uma ferramenta poderosa e disruptiva. Pode ser usado em variadas áreas e de diferentes maneiras. Noutras não. Essas premissas norteiam o que vem a seguir.
O Poder Judiciário vive um momento crítico. De um lado está pressionado pela inteligência artificial (IA). Do outro, pelo volume persistente do acervo processual, uma catástrofe para os jurisdicionados. A IA alcançou patamares inimagináveis há apenas 3 anos, com o lançamento do chatGPT. O acervo de processos, de seu lado, resiste aos vultuosos investimentos feitos no processo eletrônico. Essas duas realidades combinam-se numa mistura explosiva. Enquanto o acervo empurra para o uso afoito dos novos ferramentais, a falta de letramento dos juízes os faz ceder à pressão com o mínimo de ponderação sobre o resultado desse “jogar a toalha”. Efeito “boiada jurídica” injustificável, mesmo diante dos 80 milhões de processos na fila de espera.
Os modelos grandes de linguagem (LLMs) vieram armados de facilitadores de uso que inebriam a todos. Humanos adoram facilidades. Os prompts são os cantos de sereia do momento. Como não se atirar ao mar? “Prompt , em engenharia de prompt, é a instrução ou entrada de texto fornecida a um modelo de linguagem de inteligência artificial (IA) para direcionar e controlar a sua saída. Funciona como um ponto de partida ou um comando específico que orienta o modelo a gerar uma resposta relevante e coerente.” (Gemini, em resposta a um prompt curtíssimo com que o acionei. Os grifos são meus).
Todos têm nas mãos, agora, os poderes antes reservados a uma casta de seres humanos bem-preparados e maximamente auxiliados e supervisionados pela própria tecnologia: os programadores. Conduzir máquinas é o que os algoritmos fazem (Lei de Software, 1998, art. 1º). Prompts são algoritmos escritos para conduzir LLMs: juntam-se aos LLMs para conduzir as máquinas para certos resultados desejados pelo elaborador do prompt. São, então, expressão de intenções, desejos e visões dos humanos que os elaboram.
O mergulho no uso da IA, sem uma compreensão adequada do que se está fazendo, sobrepassa as complexidades e desconsidera as possíveis armadilhas que o uso impensado, superficial e simplista da tecnologia esconde bem.
Há perguntas que precisam ser feitas e exigem respostas profundas. Há pontos nevrálgicos do sistema social funcional – o Direito – que não devem ser tocados. Uma coisa é usar IA em atividades empresariais, privadas. Outra, muito diferente, é utilizar no âmbito público, sensivelmente mais exigente. A promoção da intersecção de IA e Direito na esfera judicial de decisão não pode ser feita impensadamente desde um “lugar de fala jurídico”. Os senhores desta fala são os que precisam refletir e dar um sim ou um não ao uso (Princípio da subinstrumentalidade da tecnologia – Tavares-Pereira, 2008). A possibilidade tecnológica de fazer algo não significa a legitimação jurídica do produto.
A Resolução CNJ 615 veio a público em 13 de março de 2025. Trouxe: (i) a autorização de uso da IA com disposição nítida de impulsionar e não atrapalhar e (ii) um entendimento fundamental para esse tempo de transição: tudo é provisório. Redigida com ampla margem para o exercício atualizante do intérprete, o regulamentador demonstrou profunda sensibilidade com a mutante realidade em que estamos. Por outro lado, com vários “quando tecnicamente possível”, amenizou a postura frente aos grandes provedores de soluções algorítmico-tecnológicas (os provedores dos LLMs ou os modelos de fundação).
Uma vez autorizada, a comunidade jurídica foi à luta1 e, claro, embrenhou-se pela vereda mais cativante das ferramentas: os prompts têm sido vistos como a solução à mão, simplisticamente e sem nenhum cotejo com os princípios processuais mais básicos de um devido processo legal democrático. Pouco ou nada se sabe sobre sua natureza, seu alcance, seus limites e suas fragilidades e finalidades. Não se espera isso dos tecnólogos. Mas dos juristas, sim, para poderem dar o esperado “sim ou não”.
Há, nesse comportamento da comunidade jurídica, um certo desprezo por ciências e técnicas complexas e difíceis como matemática, engenharias (especialmente de prompts), análise de sistemas e, mesmo, programação. É como se todos os juristas fossem capazes de absorver, em alguns meses, a profundidade dessas ciências, técnicas e tecnologias, nada se perquirindo sobre o porquê de haver cursos especializados a elas dedicados, sobre os efeitos de má compreensão e aplicação de saberes tão distantes dos do mundo jurídico e sobre as consequências do mau uso dos recentes e disruptivos ferramentais para o jurisdicionado.
Epistemologicamente, é aceitável que muito saber, de áreas tão distintas, transitem do modo que os filósofos da ciência classificam como “proposicional – apenas aceitar que algo é assim!” (Tavares-Pereira, 2021, p. 488). Pode-se aceitar o conceito descritivo exógeno. Mas a avaliação dos efeitos desse algo (objeto descrito e seus atributos e comportamentos) no sistema jurídico é de responsabilidade dos juristas, sob nortes epistemológicos da ciência do direito.
Empresas pensam em si. O Poder |Judiciário tem de pensar no jurisdicionado. A ótica é oposta. É preciso levar o Direito a sério, principalmente o processual e toda sua força de impor as decisões.
Por isso, quero “tratar de/problematizar/refletir sobre” algumas dessas questões.
1. O desafio do "letramento em IA"
A questão do letramento ganhou notoriedade nos últimos meses: é preciso letrar os juristas em IA. O mantra é repetido, pela maioria dos tratadistas, com uma conceituação claramente redutiva, significando mais o modo de uso de prompts, por exemplo, ou de sua montagem (o que só amplifica o desafio!) e passando longe de uma consideração jurídico-epistemológica, voltada à apreciação dos riscos e demais mazelas que trazem consigo. Parece que o importante é soltar a bomba. Depois se pensa nas consequências. Isso é exatamente o contrário dos preceitos que regem a atuação judicial de decisão: inegavelmente consequencialista e contextual, sob pena de se entregar injustiça e não justiça. “O uso jurídico dos algoritmos aprendizes” é o subtítulo de meu livro porque sempre entendi que a juridicidade (e sua otimização) deve presidir a transição pela qual estamos passando. Algoritmos aprendizes sintetiza, aí, machine learning, o aprendizado automático, o aprendizado probabilístico e os famosos do momento, os LLMs.
O que deve ser, afinal, o letramento em IA? Deve envolver o entendimento das ferramentas (natureza, limites, riscos e possibilidades) e, principalmente, as consequências do mau uso para os jurisdicionados. Devidamente prevenido sobre isso, aprender-se-á a apertar os botões ou, até, a não usar onde não deve ser usado.
Não se pode sucumbir a uma conceituação superficial, baseada numa ideia de mero letramento atinente ao uso (quais botões apertar para conduzir o LLM) e de simplificação de uma disciplina que ganhou a qualificação de engenharia, como a de prompt. Há, nisso, uma subestimação inaceitável da técnica e da competência, só alcançáveis com grande dedicação.
Cursos rápidos sobre como conversar com os LLMs não são suficientes. Não se pode esquecer:
que os LLMs são propensos a agradar o interlocutor e todos os que usam certamente já perceberam isso; são, portanto, enviesados inclusive sob esse aspecto;
que uma abordagem técnica dos prompts, como ensina a engenharia de prompt, envolve lógica, entendimento da arquitetura dos modelos de linguagem utilizados e, principalmente, consciência das equivocidades da linguagem natural, imprópria para falar tecnologicamente; não é por acaso que as linguagens de programação são altamente formalizadas, sintaticamente precisas e isentas de equivocidades; comandos precisam ser precisos e conformes a expectativa da máquina que os vai receber e executar;
que LLMs são, na operação, as famosas caixas-pretas em ação: bilhões de estruturas pré-prontas a partir de bases de dados fornecidas para o treinamento;
que vieses presentes nas bases de treinamento ganham expressão algorítmica e afetarão os resultados; bases não preparadas, principalmente as jurídicas, são alucinógenas: induzem o fenômeno da alucinação; e mesmo os prompts – que alguns veem como inofensivos, são expressão de visões de mundo e das coisas de quem os prepara e
que as abordagens promptianas, que são “programas” pré-feitos (com todos os vícios mencionados), portam limitações imensas em termos de contextualização.
O grande desafio da abordagem empírica, própria dessas novas e maravilhosas ferramentas, é exatamente que “nunca se viu tudo antes”2, daí sua natureza sempre proclamada de “probabilística”.
Um Direito entregue com base em probabilidade pode gerar, por exemplo, a perpetuação do viés que o famoso caso COMPASS trouxe à luz: aberrações maquínicas, antijurídicas, desumanas e persistentes. Como advertem Campione e Pietropaolle (2024, p. 56): “Se concluye que se debe proteger la esencia más íntima del derecho, evitando una justicia que, pretendiendo ser sobrehumana, se revelaría radicalmente inhumana”.
Por outro lado, o treinamento com “bases preparadas” é um risco imenso aos valores caros nos Estados Democráticos de Direito. Totalitários estão sempre de plantão e não podem ver, à mão e sem os usar, instrumentos que excluam a pluralidade fundamental de pensamento.
É preciso regar isso tudo com um pouco de realismo pragmático. Desde o surgimento dos sistemas eletrônicos de processamento de ações judiciais (Lei 11.419/2006 e até antes), temos alimentado expectativas irrealistas. Juízes, desembargadores e seus assessores, afogados pela complexidade das leis, da doutrina (reflexo indispensável da pluralidade), da jurisprudência e do próprio trabalho, não vão se especializar no vasto, rápido e mutante mundo tecnológico. Essa crença é otimista demais e beira a ingenuidade. A previsão mais certa a respeito é a adoção daquilo “que outro já fez”. Esta, aliás, a regra mãe do movimento em curso, relacionado ao uso dos prompts, a marca da Era Promptiana. Se juízes tiverem de fazer seus prompts, um a um, e depois, diante de cada processo, descobrir o que melhor se adapta (generalização), é melhor partir para a tomada decisão e elaboração da sentença.
Como definir níveis de letramento suficientes e como avaliá-los, considerando-se o alcance jurídico do conceito e não o meramente operativo? A cargo de quem ficará essa formação no nível necessário? Tecnólogos podem ensinar a operar e a fazer, mas quem, com olhar do Direito, fará a crítica das pretensões e autorizará o uso? Isso tudo envolve tempo, esforço e gente preparada. Dispõe-se disso?
Um pseudo-letramento, focado na operação e não na consideração dos efeitos das práticas frente aos princípios que regem o processo judicial de decisão, traz riscos enormes para a legitimidade do agir estatal de dicção do Direito. Esse letramento incompleto, sem foco no essencial (as consequências), gerará uma sensação de competência e de controle da ferramenta, enganosa, da qual podem resultar erros indesculpáveis.
2. O julgador confiante, que acionar a opacidade da IA, será responsabilizado?
Já vimos que um prompt bem elaborado é como um algoritmo que orienta outro algoritmo (o LLM). Tecnicamente, o prompt dá ao elaborador os poderes que um programador tem, sem as restrições a que todo programador está sujeito: aprender uma linguagem sintaticamente rígida, bem estruturada, e submeter o que codificou, antes do efetivo uso, a um programa exigentíssimo sob o ponto de vista da forma e dos comandos (compiladores ou intérpretes).
As falhas de um prompt, sejam lógicas ou decorrentes da equivocidade inescapável da linguagem natural, além dos vieses do próprio LLM – aprendidos no treinamento e convertidos em funções para uso durante a operação, serão de inteira responsabilidade de quem elaborou o prompt e de quem o utilizou.
Por que de quem o utilizou? Por uma razão muito simples. Juízes são escolhidos para julgar diretamente os casos, sem nenhuma interferência externa, com autonomia e aplicando visão própria à análise e à decisão. Os princípios do juiz natural e da independência judicial (o conceito de independência é bem definido pela teoria jurídica), são inarredáveis. Usar um prompt de terceiro é “pjuitizar” a decisão. A ideia exprimiu-se inclusive com o princípio da identidade física do juiz, atualmente em certo desuso, mas que tentava ligar o “juiz coletor da prova com a decisão”, sob pena de a tornar inválida.
A tecnologia deveria criar as bases para que esse princípio fosse retomado e não para o extirpar de vez do horizonte jurídico. Assim como “aprender de gente é diferente de aprender de máquina”, errar humano é diferente de errar de máquina. Quando um LLM erra, ele está fazendo exatamente o que lhe foi ensinado ou determinado, nem mais nem menos. Ou seja, está acertando. Ou a função errada veio da base de treinamento ou veio do prompt que o está empurrando para o resultado produzido. Sem considerar que o algoritmo aprendiz (não a caixa-preta) está, continuamente, sendo alterado pelos profissionais que o produzem e, nessas alterações, podem entrar vieses/visões/restrições/limites/liberações que, ao tempo da produção do prompt, não estavam no LLM.
Não esqueçamos que, segundo o espírito da Resolução CNJ 615, que submete tudo à supervisão humana, a responsabilidade pela adequação do prompt e pelo resultado gerado é do utilizador do prompt.
3. Alucinações não são erros
Errar é uma peculiaridade humana. Algoritmos não erram. Se os que o programaram ou o orientaram, o fizeram de um jeito inadequado, o algoritmo vai “errar”. De quem é o erro?
Algoritmo só é bom quando cumpre à risca o que foi comandado. Ele não tem uma visão consequencialista que, felizmente, ainda é uma exclusividade dos humanos. Algoritmos que resolvessem corrigir erros, descumprindo suas funções internas, seriam imprestáveis. Hipótese impossível que menciono só para fins argumentativos. Daí porque os ciberneticistas tem tanta confiança nas caixas pretas, a ponto de não querer ver o que está dentro. Se a ligação entrada – saída é consistente e a caixa cumpre sua função, para que ficar examinando o que está dentro? Ou de que maneira é feita a conexão?
As alucinações são, de fato, resultados entregues pela natureza probabilística das ferramentas. Quando a matemática as deixa na mão para ajudar na escolha do sequenciamento do padrão aprendido (os técnicos chamam de um quadro de entropia probabilística) e ela é forçada a entregar um resultado, ela “alucina”. Dois problemas, portanto: probabilisticamente são muitas as opções disponíveis, com mesmo nível de probabilidade – é tudo igual! – e ela, que tem de escolher, pinça uma delas que, no caso, é errada,
Alucinou? Ou a base técnica de seu funcionamento foi insuficiente para a produção do resultado saudável? Pesquisadores de Oxford (Farquhar et. al, 2024), em junho de 2024, detectaram a origem de 80% das alucinações. Chamaram a este subgrupo de confabulações. Embutiram no algoritmo o modo de tratar um quadro de entropia probabilística, refinaram a análise com uma classificação semântica adicional, e programaram o algoritmo para parar diante do risco de confabulação.
Bases de dados jurídicas são altamente alucinógenas. Apresentam alto grau de entropia probabilística porque juízes têm seus entendimentos diferentes sobre os mesmos casos (Lei do Fator Hermenêutico, Tavares-Pereira, 2021, p. 569/596). Qual deles adotar? Algoritmos não entendem o que estão fazendo. Eles trabalham num nível meramente sintático e não semântico. A semântica é um privilégio dos humanos. Quando a sintática permite alcançar os sentidos dos signos, os algoritmos se dão bem. Do contrário, podem apresentar um comportamento lastimável.
Há, atualmente, estruturas que, bem implementadas, podem valer-se adequadamente de materiais tomados nos limites do aprendizado desejado.3 Só usuários bem qualificados são capazes de analisar e distinguir o bom do ruim, nesta trilha de incorporação das IAs atuais ao sistema processual.
4. A questão da supervisão
A Resolução CNJ 615 deposita confiança na suficiência de um mandamento de supervisão para garantir o resultado do uso da IA no sistema de decisão judicial. É necessário se perguntar, então, sobre o tipo de supervisão e sobre o alcance e a auditoria dessa supervisão. Uma simples leitura do resultado gerado pela IA (ou por um prompt) satisfaz a exigência?
Sem os cuidados e a auditoria adequada, a supervisão – apenas como a resposta rápida ao comando regulamentar – pode ser completamente ineficaz. Dependendo do nível de generalidade da base de dados utilizada para o treinamento da ferramenta (ou seja, de um fine-tunning 4 robusto), não basta uma supervisão passiva, que receba um resultado e, lendo rapidamente, busque inconsistências/incongruências lógicas numa minuta de decisão. É necessária uma supervisão ativa, efetiva, que implique um refazimento do trabalho da IA. É preciso ao menos um entendimento adequado de como a IA alcançou o resultado e a exibição do prompt que conduziu o LLM até ele. Isso remete à complexidade lógico-estrutural que a engenharia de prompt ensina e ao zelo com as bases de treinamento de onde o LLM tira seus padrões de ação.
Falando em padrões, é preciso considerar que os LLMs são os melhores e mais robustos criadores de prompts que existem. Eles os fabricam aos milhões/bilhões e, com eles, edificam suas caixas-pretas. Humanos jamais conseguirão refinar suas instruções, passadas aos LLMs via prompts, de um modo que abarque a variabilidade fático-probatória de um processo e a valoração singular que um juiz aplica ao decidir. Como sempre dizem, as IAs nos permitem ir além dos limites a que os programadores conseguiam nos levar. E o corolário óbvio é que prompts também não nos levam muito longe, já que feitos por programadores muitas vezes improvisados e não detentores das competências para a tarefa.
Como mencionado, já existem abordagens modelares que demonstram consciência dessas limitações técnicas e humanas. Então, com uma adequada fase de fine-tunning, utilizam a expertise poderosa dos próprios LLMs para a construção das regras personalizadas de produção de resultados, em consonância estrita com a visão e o esquema de valoração do magistrado. A supervisão ganha, assim, níveis adequados e aceitáveis, em termos de execução, e os prompts (que no caso já entram na caixa preta como funções codificadas!) não trazem surpresas: exprimem o olhar, a cultura e o sistema de valores do magistrado cuja base particular orientou o fine-tunning.
