Resumo: A quarta revolução industrial trouxe profundas transformações tecnológicas, impulsionadas pela integração da Inteligência Artificial (IA) em diferentes áreas da sociedade. Este artigo investiga como os vieses cognitivos humanos são transferidos para os sistemas de IA, gerando impactos éticos e sociais significativos. A pesquisa adota uma abordagem qualitativa baseada em revisão bibliográfica e análise de casos, abordando exemplos práticos nas mídias sociais e no Poder Judiciário. Além disso, discute estratégias para mitigar o enviesamento algorítmico, como a explicabilidade dos modelos e a diversidade nas equipes de desenvolvimento, bem como iniciativas regulatórias em contextos nacionais e internacionais. Conclui-se que o enfrentamento do enviesamento algorítmico requer esforços multidisciplinares para promover a transparência, a segurança e a confiança no uso da IA.
Palavras-chave: Inteligência Artificial, Enviesamento Algorítmico, Vieses Cognitivos, Explicabilidade, Regulamentação de IA.
Introdução
As inovações tecnológicas trazidas pela quarta revolução industrial, também chamada de revolução digital ou revolução 4.0 (Flores e Santos, 2021), especialmente pela digitalização das relações sociais e pelo advento da Inteligência Artificial (IA), geram desafios importantes do ponto de vista ético e social. Preocupações com o desemprego causado pela substituição do trabalho humano por máquinas, as decisões tomadas por robôs autônomos, a necessidade de transparência no desenvolvimento de sistemas inteligentes e a possibilidade de seu uso impactar nos direitos das pessoas, ocupam o palco deste complexo e disruptivo cenário.
Entre os maiores desafios no uso de IA, estão os vieses algorítmicos. Estes vieses advêm de heurísticas humanas e, ao serem transferidos para as máquinas através dos processos de IA, são por elas exacerbados (Castro e Bomfim, 2020). Assim, questões de gênero, raça, etnia e ideologias são tratadas indevidamente pelos sistemas de IA gerando repercussões negativas sobre pessoas em todo o mundo. Isto ocorre desde as mídias sociais até por meio de mecanismos de busca, serviços de streaming de áudio e vídeo, decisões tomadas por órgãos do Poder Judiciário e pelos demais poderes públicos. Onde quer que haja IA atuando, seja de forma explícita ou latente, são reproduzidos os diversos vieses humanos.
Vale destacar que os vieses, em geral, são transferidos para as máquinas de forma não intencional, pois contidos nos conjuntos de dados usados nos treinamentos dos algoritmos de IA. Outrossim, originam-se no cérebro humano como uma estratégia de sobrevivência evolutiva, na forma de atalhos mentais utilizados para responder com a rapidez necessária aos estímulos complexos do ambiente (Cialdini, 2020). Sendo assim, este trabalho visa perscrutar o conceito de vieses cognitivos, bem como de inteligência artificial e aprendizado de máquina, e investigar de que forma o enviesamento ocorre no campo da IA e quais as possíveis propostas para a eliminação ou redução destes vieses. Para tanto, são analisados casos reais de enviesamento algorítmico nas mídias sociais e no Poder Judiciário, dialogando com os achados na literatura sobre os temas em estudo.
Metodologia
Trata-se de uma pesquisa qualitativa, do tipo exploratória, baseada em revisão bibliográfica e análise de casos. Para tal, realizou-se a busca pelas seguintes palavras-chave: “algoritmo”, “alienação”, “enviesamento”, “inteligência artificial” e “vieses”, bem como por seus sinônimos em inglês: “algorithm”, “alienation”, “bias”, “artificial intelligence” e “biases”, em bases de dados científicas reconhecidas, a saber: ACM Digital Library, Capes Periódicos, IEEE XPlore e Google Acadêmico, considerando um recorte temporal de seis anos (de 2019 a 2024). Dessa forma, buscou-se identificar os trabalhos mais recentes e relevantes sobre o tema, os quais foram integralmente analisados, com o objetivo de, por meio do método dedutivo, desenvolver um conhecimento atualizado e fidedigno a ser documentado. Por fim, o estudo foi complementado com livros importantes sobre o tema dos vieses cognitivos, bem como com legislações disponíveis online.
Inteligência Artificial, Machine Learning e Algoritmos
Autores de diferentes áreas possuem definições diversas sobre inteligência artificial (IA). Em geral, a definem como a habilidade das máquinas de simular a capacidade humana de aprender e de resolver problemas complexos a partir do conhecimento obtido. Nesse sentido, Winston (1992) a conceitua como: “o estudo das computações que tornam possível perceber, raciocinar e agir.”
O aprendizado de máquina – machine learning – é o campo da inteligência artificial que estuda a construção de modelos computacionais capazes de aprender com dados através de treinamento, que pode se dar com a intervenção direta do programador (aprendizado supervisionado) ou apenas de forma indireta (aprendizado não supervisionado) ou ainda de forma autônoma por parte da máquina, que com base em tentativa e erro reajusta os pesos de suas entradas até obter um grau aceitável de saídas corretas (aprendizado por reforço).
No âmbito do machine learning, destaca-se o deep learning ou aprendizado profundo. Trata-se de uma evolução dos sistemas de redes neurais artificiais, surgidos a partir da criação pelos cientistas de um modelo matemático que simula a estrutura do neurônio biológico. Os neurônios artificiais, chamados perceptrons, se agrupam formando redes neurais, as quais, agrupadas em múltiplas camadas, formam as redes neurais profundas, que funcionam com entradas e reentradas de dados em um processo denominado backpropagation ou retropropagação, simulando as sinapses cerebrais, produzindo o denominado aprendizado profundo. As redes neurais profundas são a tecnologia mais avançada e complexa no campo da inteligência artificial.
Em um nível mais elementar, tem-se que os algoritmos são a base do funcionamento dos processos de inteligência artificial. Podem ser conceituados como sequências de passos realizados pelo computador, a partir do recebimento de uma entrada – input – até a produção da saída esperada – output.
De forma mais precisa, Cormen et. al (2012) definem algoritmo como: “qualquer procedimento computacional bem definido que toma algum valor ou conjunto de valores como entrada e produz algum valor ou conjunto de valores como saída”. Ainda:
Também podemos considerar um algoritmo como uma ferramenta para resolver um problema computacional bem especificado. O enunciado do problema especifica em termos gerais a relação desejada entre entrada e saída. O algoritmo descreve um procedimento computacional específico para se conseguir essa relação entre entrada e saída (Cormen et. al 2012).
Feitas estas considerações, cabe introduzir o conceito de vieses e enviesamento e como ele ocorre no campo da Inteligência Artificial.
Os vieses
Psicólogos evolucionistas afirmam que os vieses cognitivos são frutos de mecanismos cerebrais de simplificação da realidade percebida. Segundo Cialdini (2022), o ser humano está o tempo todo submetido a uma enorme quantidade de informações, sendo que o cérebro não possui energia e tempo suficiente para processar todas elas, razão pela qual a mente cria atalhos perceptivos, geralmente baseados em estereótipos. A criação de vieses pelo cérebro humano é, portanto, inevitável.
Como exemplo, o autor cita o estereótipo de que “se é caro, então é bom” e “se é barato, então é ruim”, frequentemente utilizado por compradores que, não possuindo informações suficientes para avaliar a qualidade de um produto, recorrem ao preço como atalho mental para decidir se irão comprá-lo ou não (Cialdini, 2022, p. 21).
Nesse sentido, Kahneman (2021) reforça que o pensamento humano é permeado por heurísticas e vieses. Segundo o autor, heurísticas são atalhos mentais que o cérebro utiliza para tomar decisões ou fazer julgamentos de maneira rápida e eficiente, especialmente em situações de incerteza ou quando não se tem todas as informações disponíveis. Por sua vez, os vieses são erros sistemáticos de julgamento que resultam do uso de heurísticas ou de outros processos cognitivos limitados ou equivocados, refletindo em padrões de pensamento irracional.
Ainda, (Haselton 2016 apud Ambros et. Al, 2019) ressalta o demonstrado por pesquisadores do comportamento humano, de que vieses cognitivos são uma adaptação biológica do cérebro humano para lidar com problemas específicos de forma ágil e eficiente em um ambiente informacional ambíguo e complexo. Ambros et. al (2019) anotam a existência de sete tipos principais de vieses cognitivos, abordados por estudos de diferentes áreas: o da representatividade, o do status quo, o da ancoragem e ajustamento, o da confirmação, o da disponibilidade, o do espelhamento de imagem e o da atribuição.
De forma sintética, os autores trazem que o viés da representatividade é caracterizado por pré-julgamentos de pessoas e eventos com base em similaridades a um grupo ou evento particular conhecido; o do status quo é marcado pela preferência dos indivíduos a manterem seu estado atual, independentemente de um possível ganho com uma mudança de estado; o da ancoragem baseia-se na existência de uma suposição inicial tida como âncora, em que o indivíduo ajusta gradualmente as novas informações para serem compatíveis com a âncora.
O viés da confirmação, por sua vez, similar ao processo de ancoragem, induz o indivíduo a considerar apenas evidências que coadunem com suas hipóteses iniciais, ignorando qualquer evidência contrária; o da disponibilidade, trata-se do apego por informações que podem rapidamente ser trazidas à mente, em detrimento de outras evidências igualmente ou até mesmo mais válidas; o mecanismo do espelhamento de imagem funciona quando o indivíduo projeta seu modelo mental, esquema ou sistema de crenças em outra pessoa, assumindo que o outro se comportará como ele próprio se comportaria em determinado cenário.
Por fim, o viés de atribuição caracteriza-se pela tendência a supervalorizar os fatores internos e a subestimar o impacto de fatores externos, quando se tenta compreender e explicar o comportamento de outras pessoas, resultando em um mau julgamento do comportamento alheio.
Em resumo, a criação de vieses é uma atividade orgânica dos seres humanos, importante do ponto de vista da sobrevivência e evolução da espécie. Sendo assim e dialogando com o objeto de estudo, cabe investigar de que forma estes vieses são transferidos para as máquinas através da inteligência artificial e especificamente do machine learning, e quais as possíveis estratégias para mitigar esse fenômeno.
Enviesamento Algorítmico em Massa
Tendo em vista a 4ª Revolução Industrial, marcada por profundas transformações na sociedade, com a interação entre os domínios físicos, digitais e biológicos (Castro e Bomfim, 2021), as tecnologias da informação e das comunicações passam a ser o elemento central de interligação entre países, economias, instituições, pessoas e culturas. Paralelamente, o enviesamento algorítmico tem se tornado cada vez mais presente em todos os espaços, visto que as relações sociais passaram a se dar através dos meios tecnológicos.
Para entender como se dá o enviesamento algorítmico em massa, é preciso compreender como os vieses cognitivos humanos são transferidos para as máquinas. Segundo Vieira (2019), essa transferência acontece por meio dos programadores e se dá basicamente em três momentos: a) durante o enquadramento do problema que se busca resolver com a programação; b) durante a coleta dos dados que servirão de base para o treinamento do sistema de IA; c) durante a preparação ou pré-processamento dos dados.
Com relação aos dados utilizados no treinamento dos modelos de IA, são essencialmente produzidos por seres humanos e, portanto, carregados com seus vieses. Tais vieses, que envolvem tendências ideológicas, de gênero e de raça, são transferidos para os algoritmos de forma não intencional, e uma vez que integram a estrutura cognitiva artificial da máquina, dificilmente poderão ser eliminados. Daí a necessidade de se filtrar os dados de entrada, antes do processo de treinamento.
Além dos dados usados no treinamento, Castro e Bomfim (2021) ressaltam a existência de vieses oriundos dos próprios desenvolvedores do algoritmo. Observa-se que os programadores são, em sua maioria, brancos, de classe média e do sexo masculino, sendo que frequentemente transferem preconceitos ocultos nos padrões de linguagem para a máquina. Nesse ínterim, os autores anotam a necessidade de se ter equipes de desenvolvedores com maior diversidade racial, socioeconômica e de gênero, além da atuação de órgãos estatais com autoridade moral e de supervisão voltadas para o setor de desenvolvimento de software.
Ademais, entre os principais casos de enviesamento algorítmico abordados por diferentes autores, merecem destaque o enviesamento nas mídias sociais e no Poder Judiciário.
Enviesamento algorítmico nas mídias sociais
Segundo Castro e Bomfim (2021), o enviesamento nas mídias sociais ocorre principalmente através do sistema de recomendações. Os autores apontam que a internet agrupa pessoas que compartilham dos mesmos likes, criando bolhas isoladas entre “aqueles que concordam com A” e “aqueles que concordam com B”, existindo poucas conexões entre os dois grupos.
Outrossim, um estudo de Jain et. al (2023) demonstrou que a mídia social baseada em vídeos Youtube reforça estereótipos de submissão e inferioridade aos homens, atribuídos às mulheres indianas, na medida em que recomenda vídeos de criadores de conteúdo daquele país contendo tais vieses. Isto se explica pelo fato de o algoritmo de inteligência artificial do Youtube utilizar o histórico de visualização do usuário como base para o sugestionamento de novos conteúdos, fazendo com que vídeos contendo vieses de gênero sejam recomendados.
Nesse sentido, é notório que as redes sociais digitais utilizam algoritmos que aprendem com a experiência passada do usuário e entregam novos conteúdos relacionados, reforçando vieses existentes e evitando a criação de conflitos, tudo em razão de um sistema de marketing que funciona como pano de fundo, gerando lucros estratosféricos para grandes corporações privadas, tanto anunciantes como proprietárias das redes.
Bezerra e Costa (2022) observam que a coleta massiva de dados pessoais (Big Data) por parte das grandes corporações do ramo da tecnologia (Big Techs) se dá no bojo do denominado capitalismo de dados, que é a forma de manifestação do sistema capitalista na qual os dados pessoais são a principal matéria prima e mercadoria, aquecendo uma economia baseada em vigilância e dominação, que se dá por meio das redes sociotécnicas.
Nesse ínterim, os autores anotam que existe uma grande assimetria entre a quantidade de dados que são coletados e o conhecimento acerca de como são utilizados pelos algoritmos atuantes sobre o Big Data, redundando em uma opacidade algorítmica, também chamada de caixa-preta algorítmica. De um lado, há a dificuldade de se explicar o funcionamento dos sistemas inteligentes, devido à complexidade de sua arquitetura lógica e matemática, que torna o processo decisório praticado pelo sistema de IA opaco até mesmo para experts. De outro lado, existem as leis de propriedade industrial e mesmo a ausência de interesse das corporações em conferir transparência e explicabilidade aos seus algoritmos.
Finalmente, Bezerra e Costa (2022) aduzem que, em sendo a sociedade desigual e eivada de preconceitos, principalmente raciais e étnicos, é lógico inferir que conjuntos de dados consubstanciados no Big Data, usados no treinamento dos modelos de IA, estarão igualmente permeados por tais vieses, pois são dados extraídos das próprias relações sociais e, mais precisamente, do comportamento dos cidadãos no ambiente digital. Assim, dá-se causa ao que os autores chamam de desigualdade datificada.
Em suma, uma vez que os algoritmos responsáveis pela classificação, agrupamento e entrega de conteúdo nas mídias sociais são treinados a partir de bases de dados enviesadas, é natural que o resultado de seu processamento seja igualmente enviesado, potencializando as desigualdades e outros vieses encontrados na sociedade (Puschel et. al 2022), reverberando em grupos de pessoas demasiadamente beneficiadas, em detrimento de outras, prejudicadas, como é o caso das mulheres indianas.
Enviesamento algorítmico no Poder Judiciário
O uso de inteligência artificial no Poder Judiciário é crescente. No princípio, verificava-se a utilização de sistemas inteligentes para realizar tarefas repetitivas e sem cunho decisório, como para a movimentação de processos. Entretanto, em um segundo momento, verifica-se também a gradual utilização de algoritmos para apoiar as decisões judiciais ou mesmo para produzi-las por completo.
O caso mais emblemático é o do sistema COMPAS (Correctional Offender Management Profiling For Alternative Sanctions 1), desenvolvido pela empresa Equivant (antiga Northpointe) e utilizado pelos tribunais dos Estados Unidos para subsidiar decisões acerca da aplicação de medidas alternativas à prisão, no âmbito da Justiça Criminal. O sistema é responsável por predizer a probabilidade de reincidência do condenado, a partir de dados obtidos com um questionário respondido por ele, contendo 137 perguntas de teor questionável, as quais devem receber uma pontuação de zero a dez. Conforme demonstrado por pesquisas posteriores, muitas destas perguntas são relacionadas à raça do indivíduo.
Nesse contexto, vale mencionar que a ONG ProPublica fez um estudo sobre o sistema COMPAS no ano 2016, do que restou comprovado que o sistema possui enviesamento racial. Conforme Nobre (2020), a entidade demonstrou que pessoas brancas receberam um escore mais baixo do que o real para a reincidência, enquanto pessoas negras receberam um escore mais alto do que o real. Além disso, embora o sistema devesse ser utilizado apenas para nortear o magistrado quando da decisão acerca de medidas alternativas à prisão, foi constatado que os juízes estavam utilizando os resultados do COMPAS nas sentenças condenatórias criminais, agravando a situação dos apenados.
Ainda segundo Nobre (2020), as perguntas feitas aos réus com o questionário do COMPAS envolvem sua situação socioeconômica, já que se referem ao bairro onde moram, entre outros fatores que resultam em estereótipos. Deste modo, ficou evidenciado que o COMPAS fere os princípios penais do estado de inocência2, da culpabilidade3 e da personalidade da pena4, violando, por fim, a dignidade da pessoa humana. Como solução, a autora propõe a eliminação das questões envolvendo raça e condenações anteriores do réu, além da transparência acerca do código-fonte do algoritmo, possibilitando o direito ao contraditório e à ampla defesa.
Um caso concreto de aplicação do COMPAS, ocorrido no ano de 2013, chamou a atenção da mídia. Eric Loomis foi preso e teve sua liberdade provisória negada pelo Poder Judiciário do estado de Wisconsin com base no alto escore dado pelo sistema. Sua defesa técnica pleiteou ao juízo de primeira instância que a empresa Equivant explicasse o funcionamento do algoritmo e como ele chegou ao escore atribuído ao réu, entretanto, o pedido foi negado. Recorrendo à Suprema Corte do estado de Wisconsin, a defesa teve outra negativa, fundamentada nas leis de proteção de propriedade intelectual (software proprietário).
Com novo recurso, desta vez direcionado à Suprema Corte do país, a defesa novamente se viu frustrada, pois a Corte afirmou que o caso não possuía repercussão geral no meio jurídico, e, portanto, não seria apreciado. Não obstante ocorrido no exterior, vale mencionar que no Brasil tal decisão seria, desde o início, marcada por nulidade insanável, já que viciada com relação à motivação, conforme inteligência do art. 93, inciso IX da Constituição Federal: “todos os julgamentos dos órgãos do Poder Judiciário serão públicos, e fundamentadas todas as decisões, sob pena de nulidade (...)”. Conforme Vaz et. al (2021), fundamentar significa “expor, lógica e coerentemente, as razões pelas quais determinada decisão foi proferida. Significa, pois, uma justificação”. Não se trata apenas de requisito formal da decisão, mas substancial. Na seara da Justiça Criminal, o julgador deve expor seus fundamentos decisórios de modo a enfrentar cada um dos argumentos aduzidos pela defesa.
No caso em tela, o fato de o juízo ter fundamentado decisão cerceadora de liberdade de pessoa até então considerada inocente, tendo em vista o princípio do estado de inocência, com base em um output de um sistema de IA cujo modo de funcionamento e variáveis decisórias são desconhecidos, implica ainda em lesão ao direito ao contraditório e à ampla defesa do réu, importando em clara nulidade.
Noutro giro, dados do Painel de Projetos de IA no Poder Judiciário (Conselho Nacional de Justiça, 2024) apontam que o uso de inteligência artificial no Poder Judiciário brasileiro ocorre com cautela, com funcionalidades que em geral apoiam as atividades das áreas meio, contando com pelo menos 140 projetos de IA em 62 tribunais. Entretanto, há um movimento crescente na busca pela automatização das decisões.
Nesta senda, merece destaque o advento do sistema Galileu, desenvolvido pelo Tribunal Regional Federal da 4ª Região (TRF-4), o qual possui a capacidade de pesquisar jurisprudências e redigir minutas de decisões judiciais automaticamente (Supremo Tribunal Federal, 2024). Tal sistema foi objeto de termo de cooperação técnica entre o TRF-4 e o Supremo Tribunal Federal, em agosto de 2024, a fim de que seja também implementado no Supremo. Destes eventos, é lógico inferir que a automatização da escrita de decisões judiciais por meio de IA em todos os tribunais é uma realidade próxima e inevitável.
