Resumo: O presente artigo investiga os impactos jurídicos e éticos do viés algorítmico em contextos de discriminação1 estrutural, analisando como sistemas automatizados podem perpetuar ou amplificar desigualdades históricas relacionadas à raça, gênero e classe social. Com base em abordagem interdisciplinar e revisão bibliográfica especializada, o estudo evidencia que algoritmos não são neutros: eles operam a partir de dados marcados por assimetrias sociais e refletem decisões humanas em sua construção. Diante da crescente adoção de Inteligência Artificial em políticas públicas e processos decisórios privados, propõe-se uma análise crítica da responsabilidade civil, da função regulatória do Estado e da importância de mecanismos de transparência e prestação de contas. O texto defende que o Direito deve assumir papel ativo na governança algorítmica, orientando o desenvolvimento tecnológico a partir de princípios constitucionais, como dignidade da pessoa humana, igualdade material e proteção contra a discriminação.
Palavras-chave: Viés. Inteligência Artificial. Algoritmo. Direito Social.
1. Introdução 2
Em um contexto de crescente digitalização da vida social e jurídica, os algoritmos têm se tornado protagonistas de decisões que afetam diretamente os direitos de cidadania, como o acesso ao crédito, à saúde, à segurança pública e a benefícios sociais. Ainda que comumente apresentados como instrumentos neutros e objetivos, os sistemas automatizados de decisão são concebidos, treinados e aplicados a partir de dados históricos e escolhas humanas, reproduzindo vícios e desigualdades estruturaise desigualdades estruturais do tecido social. Como alertam autoras como Virginia Eubanks (2018) e Safiya Noble (2018), algoritmos operam como formas contemporâneas de exclusão, codificando desigualdades raciais, de gênero e socioeconômicas sob aparente neutralidade técnica.
Estudos empíricos demonstram que essas tecnologias, ao serem aplicadas sem transparência ou critérios de justiça algorítmica, podem afetar de forma desproporcional grupos vulnerabilizados, como mulheres, pessoas negras e populações de baixa renda, conforme demonstrado por Barocas e Selbst (2016). A reprodução automatizada de desigualdades não decorre necessariamente de intenção discriminatória, mas sim da forma como os dados são organizados, selecionados e operacionalizados. Isso impõe ao Direito o desafio de adaptar seus institutos tradicionais, especialmente no campo da responsabilidade civil, diante da complexidade do nexo causal, da opacidade algorítmica e da multiplicidade de agentes envolvidos no processo decisório digital.
Nesse cenário, surgem questões fundamentais: quem deve ser responsabilizado quando uma decisão automatizada causa dano discriminatório? Como garantir transparência e contestabilidade nesses sistemas? E, sobretudo, qual o papel do Estado na regulação ética e jurídica dessas tecnologias? A literatura internacional tem apontado para a necessidade de supervisão humana significativa e prestação de contas como princípios estruturantes da governança algorítmica. O Relatório Especial do Conselho de Direitos Humanos da ONU (2021) reforça a urgência de mecanismos legais que assegurem justiça, auditabilidade e reparação em casos de discriminação automatizada.
Portanto, o constitucionalismo contemporâneo e o Direito antidiscriminatório devem dialogar com a ciência dos dados, promovendo uma regulação que aproxime inovação tecnológica com justiça social. A construção de um ambiente digital comprometido com os direitos fundamentais exige mais do que soluções técnicas: requer o fortalecimento de uma cultura jurídica vigilante, crítica e ética frente às novas roupagens do preconceito.
2. O viés algorítmico 3 como Problema Jurídico e Ético-Estrutural
O fenômeno do viés algorítmico representa uma das faces mais preocupantes da incorporação de sistemas de inteligência artificial nas estruturas decisórias contemporâneas. Longe de constituir mera disfunção técnica ou erro pontual, o viés algorítmico revela-se como expressão de desigualdades sociais historicamente enraizadas, que são capturadas, reproduzidas — e por vezes amplificadas — por sistemas que operam a partir de dados pretensamente neutros. Conforme demonstram Barocas e Selbst (2016), a discriminação algorítmica não decorre apenas da má qualidade dos dados utilizados para o treinamento das máquinas, mas também das escolhas humanas conscientes ou inconscientes que orientam a modelagem dos algoritmos: definição de variáveis, atribuição de pesos, priorização de objetivos e métricas de desempenho. Essas escolhas carregam, inevitavelmente, valores políticos, sociais e econômicos, os quais acabam moldando os resultados finais dos sistemas automatizados.
Cathy O’Neil (2016), ao cunhar a expressão “armas de destruição matemática”, alerta que algoritmos implementados sem transparência e mecanismos eficazes de responsabilização podem operar com impacto devastador sobre populações vulneráveis. Esses sistemas, ao serem revestidos de uma aparência de precisão matemática e imparcialidade técnica, adquirem autoridade para decidir questões sensíveis — como concessão de crédito, triagem de candidatos a empregos, definição de policiamento preditivo — sem considerar os contextos humanos subjacentes. A falsa neutralidade desses instrumentos esconde os mecanismos pelos quais eles acabam perpetuando estruturas de exclusão, transferindo decisões historicamente discriminatórias para uma camada tecnológica inquestionável e opaca.
A obra de Virginia Eubanks (2018) oferece uma perspectiva ainda mais contundente ao abordar o uso de sistemas automatizados em políticas públicas voltadas a populações empobrecidas nos Estados Unidos. Em seu estudo sobre o sistema de triagem automática de pedidos de assistência social no estado de Indiana, a autora demonstra como decisões algorítmicas levaram ao indeferimento massivo e injustificado de benefícios essenciais, como alimentação e moradia, afetando sobretudo famílias em situação de extrema vulnerabilidade. A lógica adotada por esses sistemas prioriza a eficiência burocrática e a contenção de gastos em detrimento de uma análise contextualizada das condições de vida dos requerentes, violando, na prática, princípios fundamentais da dignidade da pessoa humana e do devido processo legal.
Diante de tais evidências, torna-se imperioso reconhecer que o viés algorítmico não pode ser tratado apenas como um desvio técnico corrigível por programadores. Trata-se, antes, de um problema jurídico, ético e político, que exige do Direito uma resposta institucional robusta, fundada em mecanismos de regulação, transparência e controle social. Conforme estabelece o Relatório Especial da ONU sobre Direitos Humanos e Tecnologias Digitais (UN Human Rights Council, 2021), é essencial que os sistemas de inteligência artificial operem sob supervisão humana significativa e estejam submetidos a padrões rigorosos de prestação de contas, auditabilidade e justiça algorítmica. Tal diretriz encontra respaldo nos princípios constitucionais brasileiros da dignidade da pessoa humana, da igualdade substancial e da vedação à discriminação, que devem orientar a atuação estatal e privada no desenvolvimento e aplicação de tecnologias sensíveis.
Portanto, o enfrentamento do viés algorítmico exige uma abordagem verdadeiramente interdisciplinar, que una os saberes do Direito, da ciência de dados e das ciências humanas, visando garantir que a automação tecnológica não se transforme em novo instrumento de exclusão. O desafio está em construir um modelo jurídico capaz de não apenas identificar e corrigir injustiças digitais, mas também de prevenir sua ocorrência, mediante normas claras, mecanismos de fiscalização eficazes e espaços democráticos de deliberação sobre os rumos da inteligência artificial no Brasil e no mundo.
3. Exemplos Práticos de Viés Algorítmico e Suas Implicações Jurídicas
A compreensão dos efeitos do viés algorítmico ganha maior concretude quando observada em casos práticos, muitos dos quais tiveram ampla repercussão internacional e geraram importantes debates jurídicos, éticos e institucionais. Um dos exemplos mais emblemáticos é o sistema COMPAS4 (Correctional Offender Management Profiling for Alternative Sanctions), utilizado em diversos tribunais dos Estados Unidos para prever a probabilidade de reincidência criminal. Conforme investigação conduzida por Angwin et al. (2016), esse sistema apresentava viés racial ao atribuir, sistematicamente, pontuações mais altas de risco a pessoas negras em comparação com pessoas brancas com histórico penal semelhante. Essa distorção algorítmica não é apenas um problema técnico: ela afronta diretamente o princípio da presunção de inocência, a igualdade no tratamento penal e o devido processo legal — pilares fundamentais tanto no sistema jurídico norte-americano quanto em qualquer democracia constitucional.
Outro caso igualmente alarmante foi documentado em pesquisa realizada por Joy Buolamwini e Timnit Gebru (2018), no MIT Media Lab, que revelou taxas de erro significativamente mais elevadas nos sistemas de reconhecimento facial ao identificar rostos de mulheres negras, em comparação com homens brancos. A precisão do algoritmo era próxima de 99% para homens brancos, mas caía para menos de 65% no caso de mulheres negras. Esses resultados evidenciam a ausência de diversidade racial e de gênero nos dados utilizados para treinar os sistemas, o que gera não apenas falhas operacionais, mas também sérios riscos de exclusão, estigmatização e até criminalização indevida. Em contextos como segurança pública ou controle de acesso, tais erros podem culminar em violações gravíssimas de direitos fundamentais.
Na esfera das relações de trabalho, um exemplo notório foi protagonizado pela Amazon, cuja ferramenta automatizada de recrutamento foi descontinuada após verificarem que o algoritmo penalizava currículos que incluíam referências femininas, como participação em grupos de mulheres ou faculdades exclusivamente femininas (Dastin, 2018). O sistema, ao ser treinado com dados históricos de contratações predominantemente masculinas, acabou reproduzindo padrões misóginos e discriminatórios do setor tecnológico. Nesse caso, observa-se como a automação pode não apenas refletir desigualdades existentes, mas também cristalizá-las, dificultando a implementação de políticas de equidade de gênero e contrariando normativas internacionais e constitucionais de promoção da igualdade.
No Brasil, embora os estudos ainda sejam incipientes, já se identificam indícios preocupantes da atuação de algoritmos que reproduzem o racismo estrutural sob a justificativa de “análise de risco”. Plataformas de crédito e seguros, ao se basearem em dados como CEP, padrão de consumo e histórico de inadimplência, acabam por atribuir pontuações mais baixas a consumidores oriundos de regiões periféricas, onde se concentra majoritariamente a população negra (Silva, 2021). Tal prática, mesmo que justificada tecnicamente como modelagem estatística, pode gerar efeitos discriminatórios concretos, impedindo o acesso ao crédito e ampliando desigualdades socioeconômicas já consolidadas. Isso representa uma afronta ao princípio da isonomia e pode configurar discriminação indireta — aquela que, embora não intencional, produz efeitos excludentes sistemáticos.
Esses exemplos demonstram que o viés algorítmico não se restringe a falhas isoladas, mas está inserido em um contexto mais amplo de reprodução de desigualdades estruturais por meio de sistemas tecnológicos. Em todos os casos, nota-se que o problema ultrapassa os limites da engenharia computacional e se insere no campo jurídico, exigindo do Direito uma resposta à altura da complexidade envolvida. O reconhecimento do viés algorítmico como forma contemporânea de discriminação impõe aos operadores do Direito a tarefa de repensar a proteção dos direitos fundamentais na era digital, com vistas à construção de uma governança algorítmica pautada pela igualdade, transparência e responsabilidade.
4. Interfaces com a Ética, Direito e Antropologia da Tecnologia
A análise dos impactos da inteligência artificial exige uma abordagem que vá além da técnica e do desempenho computacional, exigindo reflexões interdisciplinares que integrem ética, Direito e antropologia da tecnologia. No campo ético, a aplicação da IA impõe a necessidade de alinhamento com valores fundamentais como justiça, equidade, solidariedade e respeito à dignidade da pessoa humana.
Como destacam Floridi et al. (2018), a construção e a implementação de sistemas de inteligência artificial devem estar orientadas por princípios que evitem a reprodução de injustiças históricas, garantindo que os avanços tecnológicos não sirvam para ampliar desigualdades, mas para corrigi-las. A ética da IA, nesse sentido, não pode ser reduzida a diretrizes genéricas ou códigos de conduta voluntários: trata-se de um compromisso normativo com a proteção dos mais vulneráveis e com a promoção de um ambiente digital justo e inclusivo.
O Direito, por sua vez, é convocado a traduzir esses princípios em normas jurídicas eficazes, capazes de regular os limites da atuação algorítmica, proteger os direitos fundamentais e atribuir responsabilidades. A opacidade e complexidade técnica dos sistemas automatizados não podem servir de escudo contra a responsabilização civil e institucional quando seus efeitos produzem discriminação, dano ou violação de garantias constitucionais. Assim, a relação entre Direito e IA não deve ser de mera observação, mas de atuação normativa proativa, pautada por princípios constitucionais como a dignidade da pessoa humana, a igualdade material e o controle democrático da tecnologia. O próprio princípio da precaução, aplicado comumente em temas ambientais e sanitários, pode ser invocado para justificar a necessidade de maior rigor regulatório frente a riscos ainda incertos, porém potencialmente lesivos, associados à automação de decisões públicas e privadas.
A antropologia da tecnologia, por sua vez, amplia esse olhar ao demonstrar que nenhuma tecnologia é neutra. Como ensina Bruno Latour (2005), todo artefato técnico carrega em si as inscrições culturais, políticas e simbólicas do contexto em que foi produzido. Os algoritmos, nesse sentido, são produtos de escolhas humanas situadas em determinados arranjos históricos e sociais. Ao contrário da visão tecnicista que os apresenta como ferramentas puramente objetivas, a antropologia revela que os sistemas tecnológicos incorporam e reproduzem estruturas de poder, hierarquias de classe, raça e gênero — e é justamente por isso que seu uso demanda vigilância ética e jurídica permanente.
Donna Haraway (1991), ao discutir as relações entre ciência, gênero e tecnologia, vai além ao afirmar que os sistemas técnicos são extensões das próprias relações sociais, muitas vezes projetadas a partir de uma lógica que marginaliza corpos e subjetividades não hegemônicas. Assim, quando se fala em inteligência artificial, é preciso perguntar: quem a constrói? Para quem ela serve? Quem é excluído do seu processo de criação e beneficiamento? Essas perguntas, de natureza profundamente antropológica e política, são essenciais para que possamos compreender os impactos reais dos algoritmos sobre diferentes grupos sociais e, principalmente, para que o Direito possa construir respostas normativas capazes de corrigir distorções e promover justiça algorítmica.
Portanto, compreender a inteligência artificial a partir da intersecção entre ética, Direito e antropologia da tecnologia é essencial para que possamos construir uma governança democrática da tecnologia. Não basta garantir eficiência técnica; é preciso assegurar que o desenvolvimento e a aplicação dos sistemas algorítmicos estejam alinhados com os valores fundamentais de uma sociedade plural, democrática e comprometida com a superação das desigualdades estruturais.
5. O Enquadramento Jurídico do Viés Algorítmico na Ordem Constitucional Brasileira
A rápida incorporação de tecnologias baseadas em inteligência artificial no cotidiano das instituições públicas e privadas impõe desafios complexos ao Direito, sobretudo no que se refere à proteção da igualdade e à prevenção de formas contemporâneas de discriminação. Em uma sociedade marcada por desigualdades estruturais, a utilização de algoritmos em processos decisórios sensíveis — como concessão de crédito, distribuição de benefícios sociais e aplicação de sanções — exige uma resposta jurídica que não se limite ao plano técnico-operacional, mas que esteja ancorada em princípios constitucionais e em normas de proteção dos direitos fundamentais.
A Constituição Federal de 1988 fornece o alicerce normativo essencial para essa abordagem. O artigo 5º, em seu caput, consagra o princípio da igualdade formal perante a lei, enquanto o inciso XLI determina que “a lei punirá qualquer discriminação atentatória dos direitos e liberdades fundamentais”. A leitura conjugada desses dispositivos revela um compromisso explícito com a igualdade material e a vedação de práticas discriminatórias, ainda que travestidas de racionalidade algorítmica ou disfarçadas sob a roupagem da neutralidade tecnológica. Quando sistemas automatizados reproduzem padrões de exclusão, reforçam estigmas sociais ou dificultam o acesso a direitos, estão em desacordo com o projeto constitucional de promoção da justiça social.
No plano infraconstitucional, dois diplomas legais se destacam na construção de uma regulação normativa para o uso de algoritmos. O Marco Civil da Internet (Lei nº 12.965/2014) estabelece, em seu artigo 7º, inciso IX, o direito do usuário à informação clara, adequada e completa sobre o tratamento de seus dados pessoais, inclusive no que se refere à utilização de tecnologias baseadas em inteligência artificial. Já a Lei Geral de Proteção de Dados (LGPD – Lei nº 13.709/2018) representa um avanço substancial ao tratar especificamente das decisões automatizadas. O artigo 20 da LGPD garante ao titular dos dados o direito de requerer a revisão de decisões tomadas exclusivamente com base em processamento automatizado, sempre que essas decisões afetem seus interesses, perfil, comportamento ou personalidade. Tal previsão busca justamente romper com a chamada “opacidade algorítmica” (PASQUALE, 2015), reconhecendo a importância da explicabilidade e da possibilidade de contestação como salvaguardas fundamentais da autonomia individual e da proteção contra arbitrariedades técnicas.
Esses dispositivos nacionais são reforçados por compromissos internacionais assumidos pelo Brasil no campo dos direitos humanos. O Pacto Internacional sobre Direitos Civis e Políticos (1966), ratificado pelo país, prevê em seu artigo 26 o direito à igualdade perante a lei e a obrigação de proibir todas as formas de discriminação, diretas ou indiretas. A Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial (1965), também incorporada ao ordenamento jurídico brasileiro com status supralegal, amplia ainda mais esse horizonte ao reconhecer que práticas discriminatórias podem decorrer não apenas de atos individuais, mas de estruturas institucionais — o que se revela particularmente pertinente diante do impacto diferencial que certos algoritmos exercem sobre grupos racializados ou periféricos, como demonstram os estudos de Eubanks (2018) e Silva (2021).
Nesse cenário, o enfrentamento jurídico do viés algorítmico não se trata apenas de uma exigência ética, como defendem Floridi et al. (2018), mas de um imperativo jurídico-constitucional e convencional. A responsabilidade dos agentes — sejam eles programadores, empresas ou instituições públicas — deve ser analisada sob a ótica dos deveres positivos do Estado na promoção da igualdade e da não discriminação. Trata-se de assegurar que as novas tecnologias estejam submetidas aos mesmos parâmetros de justiça, transparência e legalidade que regem a administração pública e a atuação privada com impacto coletivo.
Assim, a governança algorítmica justa depende da articulação coordenada entre o Legislativo, o Judiciário, os órgãos reguladores e a sociedade civil organizada. Somente por meio de uma regulação robusta, participativa e baseada em evidências empíricas será possível construir um ambiente digital compatível com os valores constitucionais e com os compromissos internacionais assumidos pelo Brasil. O desafio não é técnico, é jurídico e político: garantir que a inovação digital não sirva como instrumento de opressão renovada, mas como vetor de inclusão e cidadania.
