1. INTRODUÇÃO
Nas últimas décadas, o uso de tecnologias da informação (TI) tem se ampliado em praticamente todos os setores da economia e da sociedade mundial, a ponto de ser considerada uma revolução mais disruptiva do que a Revolução Industrial. Não poderia ser diferente com o ramo jurídico. A TI tem transformado, paulatinamente, tanto as atividades administrativas em torno do Direito, como a gestão de processos judiciais e o acesso à jurisprudência dos Tribunais, quanto as atividades precipuamente jurídicas, como a análise de mérito de demandas judiciais (AGU, 2013; EPIC, 2017; FRAZÃO, 2018; CONJUR, 2018a; NUNES, RUBINGER, MARQUES, 2018).
Dentre as diversas ferramentas disponíveis, os algoritmos baseados em inteligência artificial têm se destacado, seja porque permitem automatizar processos complexos e demorados, seja porque abrem novas possibilidades de modelos de negócios para as empresas e de funcionalidades úteis para os usuários. Como exemplo, tem-se a análise e seleção de currículos para contratação, a recomendação de filmes, músicas e produtos de acordo com o gosto do usuário, a avaliação do desempenho profissional de professores do ensino básico, a moderação de comentários em redes sociais e portais de notícias, etc. (O’NEIL, 2016; FRAZÃO, 2017; TALBOT, FOSSETT, 2017; WORLD ECONOMIC FORUM, 2018).
Novamente, o mundo do Direito não ficou à margem dessa inovação e, cada vez mais, os algoritmos baseados em inteligência artificial são utilizados em várias situações jurídicas. Por exemplo, especialmente nos Estados Unidos (EUA), tem crescido o uso desses algoritmos nas investigações e abordagens policiais (FERGUSON, 2017; WORLD ECONOMIC FORUM, 2018), nas análises para concessão de fiança ou decretação de prisão preventiva, na estimativa do risco de reincidência de uma pessoa, na dosimetria da pena, entre outras funções (EPIC, 2017; SKIBBA, 2018).
Se, por um lado, há quem louve esses avanços, apontando o quanto isso auxilia na redução de subjetivismos indevidos na aplicação do Direito (CORBETT-DAVIES, GOEL, GONZÁLEZ-BAILÓN, 2017), por outro lado, há quem critique, assinalando que tais algoritmos reproduzem e ampliam concepções discriminatórias, além de violarem princípios constitucionais e direitos fundamentais básicos, como direito à ampla defesa, ao contraditório e à liberdade (O’NEIL, 2016; ANGWIN, LARSON, MATTU, KIRCHNER, 2016; FERGUSON, 2017; EPIC, 2017).
Nesse contexto, o presente artigo visa estudar como tem se desenvolvido esse fenômeno do uso de algoritmos baseados em inteligência artificial em decisões judiciais criminais nos Estados Unidos, com o intuito de delinear quais lições podem ser aprendidas para o eventual futuro uso dessa tecnologia no Poder Judiciário brasileiro.
A importância deste tema justifica-se pela ampliação no uso de algoritmos também no Brasil, o que, por ocorrer após alguns anos de experiências nos Estados Unidos, pode se beneficiar sobremaneira da análise sobre os erros e os acertos do emprego de algoritmos no Judiciário daquele país norte-americano.
A metodologia utilizada foi a leitura de livros, artigos científicos, estudos e notícias que abordam o tema, abrangendo desde o ponto de vista dos defensores do uso amplo e irrestrito de algoritmos baseados em inteligência artificial nas decisões judiciais, até a opinião dos que criticam esse uso e sustentam que esses algoritmos deveriam ser abolidos do Direito, passando por aqueles que propõem condições e modificações para um melhor uso de algoritmos no Direito.
A seção 2 discorre sobre a experiência norte-americana no uso dos algoritmos baseados em inteligência artificial, destacando as principais críticas e evoluções que ocorreram ao longo dos últimos anos. A seção 3 trata sobre os paradigmas atualmente em discussão para aprimorar o uso desses algoritmos nos EUA, enquanto a seção 4 traz propostas de como a aplicação dessa tecnologia poderia ocorrer no Direito Penal brasileiro em face do contexto local e do ordenamento jurídico nacional. A seção 5 conclui com base nas ideias discutidas.
2. PANORAMA DO USO DA INTELIGÊNCIA ARTIFICIAL NA JUSTIÇA CRIMINAL AMERICANA
Inicialmente, cabe esclarecer o que significa “algoritmos”. De acordo com Moschovakis (2001), não há uma definição universal e consensualmente aceita, embora esse conceito exista há séculos. Intuitivamente, pode-se dizer que “um algoritmo é uma sequência de regras que devem ser executadas na ordem exata para realizar determinada tarefa”, um método lógico que pode ser aplicado a qualquer campo do conhecimento, como uma receita culinária, a leitura de uma partitura musical ou a solução de um problema matemático (OCDE, 2017, p. 8).
Por seu turno, a inteligência artificial é um ramo da ciência da computação que estuda e desenvolve agentes inteligentes, assim chamados porque são máquinas executando, de forma dita inteligente, tarefas consideradas significativamente difíceis. Trata-se de termo criado por John McCarthy em 1956 (OCDE, 2017, p. 9).
Um dos subcampos da IA é o aprendizado de máquina, que permite que os computadores utilizem algoritmos para que, iterativamente, aprendam a partir dos dados previamente coletados e da experiência das iterações. Já em 1959, Arthur Samuel dizia que o “aprendizado de máquina fornece aos computadores a habilidade de aprender sem serem explicitamente programados”.
Apesar de esses conceitos existirem há décadas, o que se constata é que, com o desenvolvimento exponencial do capacidade de coleta, armazenamento e processamento de informações pelos computadores nas últimas décadas, bem como com a própria evolução da IA, em especial do aprendizado de máquina, o uso de algoritmos e IA se expandiu para todos os campos de conhecimento, com resultados que aparentam ser cada vez mais eficientes, eficazes e efetivos (O’NEIL, 2016; WORLD ECONOMIC FORUM, 2018).
2.1. Algoritmos e o Direito nos Estados Unidos
Devido ao seu grande número de empresas de TI, startups inovadoras e universidades renomadas, é natural que os Estados Unidos sejam um dos países com maior uso de tecnologias no Direito. A expectativa era de que a utilização de TI e, especialmente, inteligência artificial, agilizaria o trabalho dos advogados e procuradores, eliminando tarefas burocráticas, e tornaria a aplicação do Direito pelos magistrados e o trâmite processual mais objetivo, rápido e efetivo (CHIESI FILHO, 2017; NUNES et al, 2018).
Por exemplo, existem softwares que auxiliam na busca da jurisprudência mais adequada ao caso, o que é ainda mais importante no contexto jurídico norte-americano do common law. Também já há softwares que produzem peças jurídicas, bem como outros que analisam as decisões proferidas pelos julgadores na tentativa de prever probabilidades de qual será a decisão adotada em cada caso (CHIESI FILHO, 2017).
Outro uso que está se tornando cada vez mais popular é o reconhecimento facial de pessoas em locais públicos, correlacionando informações de diversos bancos de dados para selecionar quem será abordado pela polícia, quem pode ser um foragido e quem está cometendo algum crime (FERGUSON, 2017; CÂMARA DOS DEPUTADOS, 2019a). Ressalte-se que há muitos críticos a esses usos, que alegam haver desrespeito ao direito de privacidade das pessoas submetidas a esses reconhecimentos, bem como apontam haver até 98% de falsos positivos, fazendo com que pessoas inocentes sejam erroneamente identificadas como criminosas, principalmente com mulheres e etnias minoritárias, como mostraram vários estudos (AGÊNCIA CÂMARA, 2019a). Registre-se que essa discussão já chegou no Brasil, com exemplifica a audiência pública ocorrida na Câmara dos Deputados em 3/4/2019, sobre o uso de reconhecimento facial por autoridades brasileiras (AGÊNCIA CÂMARA, 2019b).
Em que pesem as nítidas vantagens da utilização de todas essas tecnologias, há riscos que não podem ser ignorados.
Cathy O’Neil destaca que os algoritmos são construídos para modelar uma realidade e, a partir dos dados fornecidos, responder com o resultado que seus criadores assim desejarem, de modo a solucionar o problema posto. Entretanto, a autora pontua que, “apesar de terem uma reputação de imparcialidade”, esses modelos, e, por consequência, os algoritmos, “refletem objetivos e ideologias” (2016, cap 1).
Isso porque “os valores e os desejos” de seus criadores influenciam suas escolhas, desde os dados que são coletados, passando pelas perguntas que vão direcionar o tratamento e análise desses dados, chegando até a própria definição do que pode ser considerado como sucesso do modelo (2016, cap 1). Assim, “modelos são opiniões envelopadas em matemática” (O’NEIL, 2016, cap. 1).
Por isso, o mau uso dessas ferramentas pode violar tanto direitos fundamentais das pessoas (O’NEIL, 2016; EPIC, 2017) como contribuir com a precarização e mecanização do próprio Direito. Afinal, trata-se de um ramo do conhecimento intrinsicamente subjetivo e influenciado por ciências como Sociologia. Isto implica que não é uma tarefa trivial parametrizar e quantificar objetivamente, em termos matemáticos, conceitos jurídicos naturalmente definidos por intermédio da interpretação (STRECK, 2019a; idem, 2019b; idem 2019c).
Talvez por essa dificuldade de traduzir de forma objetiva todo o processo decisório realizado pelo julgador, as empresas e os especialistas tenham optado por introduzir a IA aos poucos, começando pelas atividades que parecem, a primeira vista, mais objetivas e simples de serem automatizadas e analisadas por meio de algoritmos de IA.
2.2. O encontro da IA com o Direito Penal Americano
Em 1995, foi criado nos Estados Unidos um questionário, chamado de Level of Service Inventory - Revised (LSI-R), ou Inventário de Nível de Serviço - Revisado, que é aplicado aos presidiários para avaliar qual é o risco de reincidência de cada um, com base em ponderações estatísticas sobre as suas respostas. Dependendo da pontuação alcançada, o detento é classificado em alto, médio ou baixo risco de reincidência (O’NEIL, 2017, cap. 1).
Por exemplo, algumas das questões desse teste são: Quantas condenações criminais você já teve?; Qual foi a primeira vez que você se envolveu em uma situação com a polícia?; Seus amigos e parentes possuem histórico de condenações criminais? (O’NEIL, 2017, cap. 1).
Atualmente, esse questionário e sua análise computadorizada são utilizados em dezenas de estados americanos, sendo que em alguns, como Rhode Island, os testes servem apenas para selecionar quais presos serão submetidos a programas de prevenção à reincidência durante o encarceramento, enquanto que em outros, como Idaho e Colorado, os juízes efetivamente usam o resultado do questionário para guiar sua decisão na sentença (O’NEIL, 2017, cap. 1). Isto faz do LSI-R uma das mais populares ferramentas comerciais de análise de risco de reincidência criminal em uso nos EUA hoje em dia, sendo de propriedade da empresa canadense Multi-Health Systems (LARSON, MATTU, KIRCHNER, ANGWIN, 2016).
A outra ferramenta desse tipo que é oferecida por uma grande empresa da América do Norte é o Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), comercializado pela antiga Northpointe Inc., atual Equivant. Foi criada em 1989, por um professor de estatística e um funcionário de um programa de correção criminal, com o intuito de ser um aprimoramento da versão original do LSI. O COMPAS é utilizado em diversos momentos ao longo da justiça criminal e, segundo seus criadores, baseia-se nas principais teorias acerca das causas dos crimes (ANGWIN, 2016).
Também são utilizados dezenas de programas e algoritmos criados e desenvolvidos por acadêmicos e pelos próprios governos estaduais (LARSON, et. al., 2016). Um desses é o Public Safety Assessment, ou avaliador de segurança pública, desenvolvido pela Fundação Laura e John Arnold, e que é utilizado por New Jersey e Arizona (EPIC, 2017; O’BRIEN, KANG, 2018). A fundação afirma que seu algoritmo é simples e pode ser inspecionado por qualquer pessoa, em que pese não permitir a análise dos dados utilizados para treiná-lo. Além disso, baseia-se em 9 fatores de risco, que são variáveis objetivas diretamente relacionadas unicamente ao indivíduo objeto da avaliação (O’BRIEN, KANG, 2018).
Levantamento detalhado feito por uma associação americana revelou que 46 estados norte-americanos exigem o uso dessas ferramentas, pelos magistrados e pelos demais agentes públicos envolvidos, antes de decisões sobre condicionais, prisões preventivas, julgamento de mérito, substituições por penas alternativas, substituição da fiança em dinheiro, entre outras. Nos demais 4 estados, o uso dessas ferramentas é oficialmente recomendado, ainda que não seja expressamente obrigatório (EPIC, 2017).
Estima-se que existam mais de 60 softwares desse tipo em uso nos Tribunais norte-americanos, analisando esse e outros tipos de riscos, como de fuga antes do julgamento caso não seja decretada a prisão preventiva do acusado (SKIBBA, 2018).
O nível de complexidade dessas ferramentas varia. Alguns desses programas usam algoritmos simples, com pouco ou nenhuma aplicação de IA. Outros utilizam um grande número de variáveis, com nítidas aplicações de IA e, em especial, aprendizado de máquina. Cada ferramenta analisa e prioriza dados diferentes, dentre os quais: histórico criminal do acusado/réu/detento, seu gênero, sua idade, CEP da sua residência, histórico criminal de seus pais, informações das redes sociais, contas de energia elétrica e de água, arquivos de vídeo de câmeras de monitoramento público e histórico de ligações para pizzarias (SKIBBA, 2018).
Cabe registrar que a maioria dessas ferramentas não permite nenhuma espécie de auditoria pública de seus algoritmos ou dos dados utilizados para treiná-los, sob alegações de proteção à propriedade intelectual e de segredo comercial. Soma-se a isso o fato de que a maioria, senão todos, os estados norte-americanos adotam essas ferramentas sem exigirem a realização de um estudo imparcial e independente para assegurar a eficácia desses sistemas e o nível de confiança de suas previsões (EPIC, 2017).
2.3. Vieses e demais problemas identificados por acadêmicos e pela sociedade
À primeira vista, esse método parece ser mais efetivo e objetivo do que a mera avaliação subjetiva do magistrado. Corbett-Davies et al sustentam que mesmo algoritmos imperfeitos podem resultar em melhorias significativas para o sistema de justiça criminal (2017).
Entretanto, diversos estudos ao longo dos anos têm demonstrado que os algoritmos não apenas reproduzem os vieses e os preconceitos existentes no sistema de justiça criminal, como também os amplifica, contribuindo para, no longo prazo, aumentar as disparidades raciais e sociais (SIKBBA, 2018). Inclusive, ainda em 2014, o Procurador Chefe dos EUA, Eric Holder, já manifestava seu receio de que isso pudesse ocorrer, tendo solicitado que a Comissão de Sentenciamento dos EUA realizasse um estudo para verificar se essas ferramentas de avaliação de riscos de fato não estariam causando, inadvertidamente, tais resultados (ANGWIN, 2016).
A referida comissão não atendeu à solicitação, mas, um dos principais estudos acerca do tema e que se tornou referência para avaliações posteriores foi feito pelo ProPublica, em 2016, como parte de um estudo maior, destinado a examinar os efeitos poderosos mas ocultos dos algoritmos na vida dos norte-americanos (ANGWIN, 2016).
Os pesquisadores obtiveram, por intermédio de um pedido de acesso à informação pública, as avaliações calculadas pelo COMPAS para 18.610 pessoas, entre 2013 e 2014, presas em Broward County, no estado da Flórida. Essas informações foram comparadas com registros de prisões em anos posteriores, para mensurar a real taxa de reincidência dessas milhares de pessoas avaliadas pelo COMPAS. Foi empregado um extenso e meticuloso trabalho estatístico para analisar esses dados, posteriormente publicado livremente na internet para estimular outras análises e confirmações por outros pesquisadores (LARSON, 2016).
Os resultados desse estudo constataram que os indivíduos negros recebiam uma classificação de risco de reincidência mais alta do que a real taxa de reincidência verificada, enquanto os indivíduos brancos recebiam classificações muito mais baixas do que as reais. O mesmo comportamento foi observado no risco de reincidência violenta. O estudo ainda demonstrou que indivíduos negros tinham uma chance 77% maior do que brancos, com as mesmas variáveis de gênero, idade, histórico criminal e reincidência futura, de serem classificados como alto risco de reincidência violenta (ANGWIN, 2016; LARSON, 2016).
Essas conclusões são corroboradas por diversos outros estudos e avaliações de casos concretos, por todo o país, que ainda apontam outros fatores que desequilibram as análises, como o fato do indivíduo ter 19 anos de idade pode ter o mesmo peso estatístico que 3 registros prévios de violência doméstica e agressão (O’NEIL, 2016; FERGUSON, 2017; EPIC, 2017; SKIBBA, 2018).
Independentemente das análises sobre a acurácia das previsões geradas por esses algoritmos, é nítido que a metodologia empregada nessas ferramentas viola princípios básicos do Direito Penal. Basta lembrar que muitas das questões feitas pelo LSI-R não seriam admitidas se fossem feitas pela acusação em um julgamento. O Direito Penal prega que as pessoas devem ser julgadas pelo fato que cometeram, e não por quem são. Logo, é inadmissível que seja avaliado o histórico criminal de parentes ou amigos que nada tem a ver com o delito para efetuar a dosimetria da pena do réu (O’NEIL, 2016, cap 1).
O direito à ampla defesa e ao contraditório são fundamentais em qualquer democracia, porém estão sendo sonegados de cada um dos indivíduos submetidos a essas análises algoritmicas. Afinal, como recorrer de uma avaliação que não se entende nem se pode verificar? (SKIBBA, 2018).
Ana Frazão repudia esse uso acrítico de algoritmos e sistemas computadorizados, defendendo que “a transferência de processos decisórios para máquinas e algoritmos, tal como vem sendo feita na atualidade, transforma-os em verdadeiros oráculos do nosso tempo” (2018). Indo além, pode-se dizer que, em muitos aspectos, parece um retorno ao tempo dos julgamentos criminais decididos pelas ordálias.
Em artigo publicado no The New York Times, Ellora Israni, ex-engenheira de software do Facebook e pós-graduanda em Direito pela Harvard Law School, sintetiza com maestria o problema do uso de algoritmos proprietários no contexto judicial (2017):
Por enquanto, as únicas pessoas que conseguem ver como o COMPAS funciona por dentro são os seus programadores, que, de diversas formas, são menos equipados do que os juízes para fazer justiça. Juízes possuem capacitação legal, são limitados por juramentos éticos e são fiscalizados e responsabilizados não apenas por suas decisões, mas também por suas justificativas expressas em opiniões publicadas. Aos programadores, não se aplicam nenhuma dessas proteções.
Computadores podem ser inteligentes, mas não são sábios. Tudo o que eles sabem, nós os ensinamos, e ensinamos também nossos vieses. Eles não vão desaprendê-los sem transparência e ação corretiva por parte dos humanos. (tradução livre)
3. PARADIGMAS EM DISCUSSÃO PARA APRIMORAR O USO DE IA NA JUSTIÇA CRIMINAL AMERICANA
A ampla divulgação de diversos estudos apontando os erros e as fragilidades das ferramentas computacionais usadas no sistema da justiça criminal americana tem conscientizado cada vez mais atores mundiais acerca da importância de se desenvolverem instrumentos e regulamentações para aprimorar o uso de IA no Direito, sobretudo o Direito Penal.
Há uma profusão de propostas, inclusive tentativas de sistematização com atuação de organizações internacionais como a OCDE e o Fórum Econômico Mundial; de países como os integrantes da União Europeia; das próprias empresas do setor em uma espécie de autorregularão; de acadêmicos do Direito, da Ciência da Computação, da Estatística, da Matemática, entre outras áreas do conhecimento; de entidades e organizações da sociedade civil de vários países (O’NEIL, 2016; FERGUSON, 2017; WORLD ECONOMIC FORUM, 2018; POLONSKI, 2018; SAVCHUK, 2019; GREENE, 2019; CÂMARA DOS DEPUTADOS, 2019b).
Em comum, todas essas soluções propostas visam aumentar a transparência, possibilitando auditorias externas sobre os softwares que verifiquem e assegurem não só sua acurácia, mas também outros aspectos tão ou mais importantes, como a forma em que foram treinados, os dados utilizados, quais variáveis utiliza, quais pesos são atribuídos a cada variável, como seu modelo foi construído, quais premissas algoritmicas eventualmente violam regras e princípios jurídicos, etc.
Também se demanda que haja maior conscientização e capacitação para toda a população, envolvendo desde os magistrados e demais agentes públicos que serão obrigados a considerar os resultados dessas ferramentas em sua atuação e suas decisões, passando pelos advogados e procuradores do Ministério Público, até a população em geral, para viabilizar o controle social. Uma ampliação do entendimento das limitações e das fragilidades dos algoritmos permite que todos os que recebam essas informações façam uma avaliação mais criteriosa, em vez de confiar acriticamente nos softwares.
A maioria dos atores concorda que se faz necessário regulamentar princípios éticos mínimos a serem seguidos no desenvolvimento e na utilização de algoritmos de IA, bem como que os Estados precisam normatizar um conjunto mínimo de diretrizes, direitos, obrigações e sanções, que seja coerente com as regras vigentes nos demais países, com vistas a evitar abusos e violações.
Algoritmos são um problema global do século XXI e precisam ser tratados como tal na busca por soluções que protejam os indivíduos, mas que não impeçam a inovação e a evolução tecnológica.