Relatado pelo Conselheiro João Paulo Schoucair, o PCA 0000416-89.2023.2.00.0000, será julgado pelo plenário virtual do CNJ de 13 de junho de 2024 (quinta-feira) e às dezesseis horas do dia 21 de junho de 2024 (sexta-feira).
Esse processo de controle administrativo foi iniciado pelo subscritor da presente e ganhou notoriedade depois que o TSE rejeitou o uso de ChatGPT nos autos da ação que decretou a inelegibilidade de Jair Bolsonaro. Na época, o relator do processo no TSE impôs uma pena pecuniária ao autor do requerimento despertando a atenção da imprensa.
Após o relator indeferir a liminar requerida área técnica do CNJ elaborou um longo parecer sobre a questão debatida no PCA 0000416-89.2023.2.00.0000. Abaixo, transcrevo alguns fragmentos significativos do referido parecer:
"A demanda pretende-se aos seguintes e principais argumentos, extraídos das manifestações IDs 5009416, 5114489 e 5165969:
(a) o uso do ChatGTP por juízes pode ser prejudicial, pois a ferramenta não consegue avaliar adequadamente parâmetros fáticos e suas respostas são falaciosas;
(b) juízes devem realizar suas próprias pesquisas em textos legais, doutrina e jurisprudência, sem transferir seu poder e dever de julgamento para um recurso tecnológico;
(c) todo cidadão tem direito ao julgamento por um juiz humano, investido do poder e dever de julgar processos;
(d) o CNJ deve frear a invasão da inteligência artificial no sistema de justiça, em razão dos riscos de privatização e desnacionalização tecnológica, com danos semelhantes aos causados pelos algoritmos de redes sociais."
Os autores do parecer entendem que o CNJ pode regular a matéria e apontaram os riscos que existem:
"Sob uma perspectiva formal, é plenamente possível que o Conselho Nacional de Justiça, no exercício de seu poder-dever de controle a atuação administrativa do Poder Judiciário estabelecido no artigo 103-B, parágrafo 4º da Constituição da República[12], edite ato normativo com o objetivo de regular ou mesmo proibir o uso de soluções de inteligência artificial por magistrados brasileiros. Esse espaço regulatório já foi, inclusive, ocupado pelo Conselho Nacional de Justiça por meio da edição da Resolução CNJ n. 332, de 21 de agosto de 2020[13], ato que dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário."
"... os riscos mapeados não podem ser simplesmente aceitos e monitorados; é necessário a implementação de medidas de mitigação e compartilhamento de responsabilidades. Nesse sentido, sugerem-se as seguintes medidas de tratamento de riscos:
(a) proibição do uso de soluções de inteligência artificial baseadas em large language models (LLMs) que importem em automação de atividades decisórias;
(b) determinação para que implementações de uso de LLMs assegurem ao usuário humano a revisão e opção de escolha quanto ao aproveitamento de insumo fornecido pelo modelo;
(c) determinação para que, em cenários de uso corporativo, os órgãos do Poder Judiciário adotem providências para preservação de dados pessoais e informações sensíveis;
(d) determinação para que, em cenários de uso corporativo ou individual, os usuários sejam submetidos à capacitação formal, a fim de serem esclarecidos quanto aos riscos e estratégias de prevenção, incluindo construção de contextos e engenharia de prompt."
Ao final, os autores do documento fizeram várias recomendações ao CNJ:
"Diante das considerações expostas, o Departamento de Tecnologia da Informação e Comunicação do Conselho Nacional de Justiça manifesta-se pela não proibição do uso de modelos de inteligência artificial baseadas em large language models (LLMs) no âmbito do Poder Judiciário brasileiro.
Por outro lado, o DTI/CNJ sugere a adoção das seguintes medidas de tratamento de riscos:
a) proibição do uso de soluções de inteligência artificial baseadas em large language models (LLMs) que importem em automação de atividades decisórias;
b) determinação para que implementações de uso de LLMs assegurem ao usuário humano a revisão e opção de escolha quanto ao aproveitamento de insumo fornecido pelo modelo;
c) determinação para que, em cenários de uso corporativo, os órgãos do Poder Judiciário adotem providências para preservação de dados pessoais e informações sensíveis;
d) determinação para que, em cenários de uso individual, os usuários sejam submetidos à capacitação formal, a fim de serem esclarecidos quanto aos riscos e estratégias de prevenção, incluindo construção de contextos e engenharia de prompt.
Por fim, o DTI/CNJ sugere ainda a constituição de grupo de trabalho com o objetivo de avaliar a necessidade de atualização da Resolução CNJ n. 332/2020, pautado pelos seguintes objetivos mínimos:
a) definição de modelo de governança para gestão do processo de desenvolvimento, sustentação e uso das soluções de inteligência artificial no Poder Judiciário brasileiro, orientado pela transparência e auditabilidade;
b) definição de processo de trabalho referencial para auditoria de modelos e soluções de inteligência artificial, sob as perspectivas da segurança da informação, performance, robustez, confiabilidade, vieses, correlação entre entradas e saídas e conformidade legal e ética;
c) definição de casos de uso permitidos, regulados e proibidos."
Na sequência, o processo foi à conclusão do conselheiro Luiz Fernando Bandeira de Mello, presidente da Comissão Permanente de Tecnologia da Informação e Inovação do CNJ. Ele anexou aos autos o parecer dele.
"No caso destes autos, constata-se que não se está diante de impugnação a ato administrativo previamente identificado que se possa atribuir a qualquer tribunal ou conselho setorial submetido ao controle deste Conselho, o que destina o Procedimento ao inevitável arquivamento.
A despeito dessa formalidade, sendo deferido ao Conselho Nacional de Justiça atuar de ofício para se desincumbir das elevadas atribuições conferidas pela Constituição da República, a provocação do requerente é pertinente deveras e merece estudo mais detido, de modo a viabilizar o oferecimento de solução a este importante (e premente) problema regulatório.
Inicialmente, cumpre-nos registrar a excelência da manifestação técnica ofertada. Sem reparos, acolhemos o parecer subscrito pelos Juízes Auxiliares da Presidência Supervisores e pelo Diretor Executivo do DTIC."
Bandeira de Mello requereu o arquivamento do PCA 0000416-89.2023.2.00.0000. Ao se manifestar sobre o parecer desse conselheiro, o autor do processo fez as seguintes observações que considerou pertinentes:
"I- O parecer sugere o arquivamento do presente procedimento e recomenda a criação de um grupo de trabalho para debater providências a serem tomadas.
II- O laudo da área técnica do CNJ anexado aos autos fez as seguintes recomendações:
"...os riscos mapeados não podem ser simplesmente aceitos e monitorados; é necessário a implementação de medidas de mitigação e compartilhamento de responsabilidades. Nesse sentido, sugerem-se as seguintes medidas de tratamento de riscos:
(a) proibição do uso de soluções de inteligência artificial baseadas em large language models (LLMs) que importem em automação de atividades decisórias;
(b) determinação para que implementações de uso de LLMs assegurem ao usuário humano a revisão e opção de escolha quanto ao aproveitamento de insumo fornecido pelo modelo;
(c) determinação para que, em cenários de uso corporativo, os órgãos do Poder Judiciário adotem providências para preservação de dados pessoais e informações sensíveis;
(d) determinação para que, em cenários de uso corporativo ou individual, os usuários sejam submetidos à capacitação formal, a fim de serem esclarecidos quanto aos riscos e estratégias de prevenção, incluindo construção de contextos e engenharia de prompt."
III- Recentemente, um juiz cometeu a façanha de transformar em decisão judicial uma alucinação do ChatGPT. O CNJ terá que julgar a conduta dele, mas dificilmente conseguirá evitar o estrago que o episódio causou à imagem do Poder Judiciário.
IV- O processo semelhante que o autor está movendo no CNMP resultou num projeto de resolução que será debatido naquele órgão. As recomendações que serão feitas aos promotores e procuradores não são muito diferentes daquelas que foram aqui sugeridas pela área ténica. Portanto, ao invez de arquivar o presente processo, o CNJ poderia adotar provisoriamente as recomendações de sua própria área técnica. Assim, pelo menos os juízes começariam a ser mais cuidadosos e o grupo de trabalho recomendado no parecer não precisaria concluir apressadamente seu trabalho. Ademais, do ponto de vista administrativo é uma estupidez CNJ jogar tudo que foi feito aqui na lata do lixo.
V- Qualquer decisão que seja tomada apelo CNJ, uma coisa é certa. Após o incidente protagonizado pelo juiz que usou ChatGPT e se deu mal o Judiciário nunca mais será o mesmo.
Há alguns meses, o TJSP criou um projeto piloto para possibilitar aos juízes utilizar inteligência artificial para prolatar decisões. Pouco depois, o STF encomendou o "ChatGPT jurídico" referido por Luis Barroso.
Assim que a Pandora abriu a caixa que deveria manter fechada, males incontáveis saíram dela e começaram a se espalhar descontroladamente pelo mundo. Esse mito me parece muito adequado para descrever o que ocorrerá em breve.
Um dos reflexos possíveis do uso de IA por juízes será a avalanche de recursos em que os advogados alegarão nulidades de julgados proferidos por robôs (consoante o documento incluso esse foi o caso do autor). Ironicamente, os próprios robôs fornecerão prova de que as sentenças impugnadas foram total ou parcialmente produzidas sem o concurso de um ser humano.
Até a jurisprudência pacificar essa questão, me parece evidente que a insegurança jurídica será imensa. Pessoalmente, duvido muito ser possível restaurar a credibilidade de um sistema de justiça que resolveu mergulhar no abismo da inteligência artificial sem perceber que isso colocaria em dúvida todas as decisões que serão proferidas.
Assim como alguns juristas defenderão a nulidade de sentenças e acórdãos proferidos por robôs, em breve os entusiastas da nova tecnologia começarão a levantar suspeitas das decisões proferidas total ou parcialmente por seres humanos. Afinal, os adeptos da nova tecnologia acreditam que os robôs podem ser ou são mais justos e isentos do que as pessoas que se esforçaram para conquistar uma vaga no Poder Judiciário.
Não se faz Justiça com decisões judiciais sem credibilidade. Isso me parece óbvio. Mas os presidentes do TJSP e do STF discordam. Bem... somente eles têm poder para decidir quais serão as ferramentas tecnológicas colocadas à disposição dos juízes. Todavia, os advogados decidirão sozinhos como reagirão às sentenças e acórdãos proferidos ou suspeitos de ser proferidos por inteligência articial (ou por seres humanos). E eles farão isso levando em conta apenas as necessidades de seus clientes.
VI - O CNJ pode fazer o que bem entender com o presente procedimento. Mas se resolver descartá-lo os juízes brasileiros ficarão à mercê de uma tecnologia sedutora e perigosa sem qualquer tipo de "manual de uso". O próprio CNJ poderá ser ridicularizado porque gastou dinheiro num processo que poderia ser aproveitado e foi arquivado."
Ao julgar o processo o CNJ pode ou não arquivá-lo. Como autor do processo, espero que aquele órgão acolha parcialmente o pedido que foi feito. Caso isso não ocorra, não pretendo recorrer da decisão. Continuo, pelas razões que já expus na internet (Texto 1, Texto 2 e Texto 3) estou convencido de que o ChatGPT não deve ser utilizado para elaborar decisões judiciais (e petições também). O mesmo se aplica ao principal concorrente da IA criada pela OpenAI. Ao ser exposto a um problema de filosofia antiga que desenvolvi, o Gemini, IA do Google, apresentou os mesmos problemas que o ChatGPT.
Não é possível ensinar uma IA a racionar como se fosse um ser humano. As máquinas não têm corpos biológicos frágeis, sentimentos ou empatia. Mas os usuários dessa tecnologia certamente podem começar a raciocinar como se fossem máquinas e a tratar os processos como amontoados de dados e não como pretensões formuladas por seres humanos indignados capazes de se sentir injustiçados inclusive e principalmente quando seus direitos são pisoteados por autoridades públicas.
A Justiça visa a pacificação da sociedade. A distribuição dela não pode ser feita sem cuidado, sensibilidade humana e respeito à dignidade das pessoas envolvidas numa demanda judicial. Nesse sentido, a contaminação dos juízes pela dinâmica do pensamento mecanizado representa um perigo. Ele pode comprometer a qualidade da justiça distribuída no país, afetar de maneira negativa a imagem do Poder Judiciário e, no limite, contribuir para tornar a sociedade mais violenta, volátil e politicamente instável.
