Introdução provocativa
Em 2018, a pesquisadora ganesa-americana Joy Buolamwini demonstrou que sistemas de reconhecimento facial utilizados por gigantes tecnológicos apresentavam taxas de erro drasticamente superiores para mulheres negras em comparação com homens brancos. O escândalo não residia apenas na falha técnica. O problema era mais profundo, quase literário: a máquina via menos humanidade em determinados rostos.
A inteligência artificial prometia racionalidade matemática, neutralidade estatística e eficiência decisória. Entregou, em muitos contextos, a amplificação automatizada de preconceitos históricos. O algoritmo tornou-se uma espécie de espelho institucional defeituoso: refletia a sociedade, mas deformava seletivamente os grupos já vulneráveis. Em vez de corrigir assimetrias humanas, converteu desigualdades sociais em linguagem computacional.
A questão jurídica contemporânea já não consiste em perguntar se algoritmos discriminam. A evidência empírica consolidou essa realidade. O verdadeiro problema reside em compreender como o Direito responde quando a discriminação deixa de possuir rosto humano identificável e passa a operar por arquitetura probabilística opaca.
A hipótese central deste artigo sustenta que o viés algorítmico em sistemas de inteligência artificial, especialmente em reconhecimento facial e decisões automatizadas, produz uma mutação estrutural da responsabilidade jurídica contemporânea: desloca-se o paradigma clássico da culpa subjetiva para um regime híbrido de responsabilização sistêmica, baseado em deveres preventivos de transparência, auditabilidade e governança algorítmica.
A partir da obra e das investigações de Joy Buolamwini, o artigo examina o conflito entre eficiência tecnológica e dignidade humana, articulando Direito Constitucional, responsabilidade civil, psicologia cognitiva, filosofia política, ciência de dados e teoria crítica.
Há uma ironia silenciosa nesse cenário. O século XXI produziu máquinas capazes de reconhecer padrões invisíveis em bilhões de dados, mas incapazes de perceber, com precisão mínima, o rosto de quem historicamente permaneceu invisível.
Delimitação metodológica
A pesquisa adota metodologia qualitativa e quantitativa interdisciplinar, combinando:
análise dogmático-jurídica;
revisão sistemática de literatura técnica;
interpretação jurisprudencial;
análise comparativa internacional;
exame empírico de indicadores institucionais;
estudo de casos concretos envolvendo reconhecimento facial e discriminação algorítmica.
O recorte temporal concentra-se entre 2018 e 2026, período marcado pela consolidação global do debate sobre governança algorítmica após:
o estudo “Gender Shades”, de Joy Buolamwini e Timnit Gebru;
a expansão do uso policial de reconhecimento facial;
a promulgação do AI Act europeu;
a intensificação de litígios envolvendo discriminação automatizada.
O eixo empírico utiliza:
dados do NIST (National Institute of Standards and Technology);
relatórios da União Europeia;
estudos do MIT Media Lab;
pesquisas da Algorithmic Justice League;
levantamentos da Electronic Frontier Foundation;
dados do CNJ e do STF sobre digitalização do Judiciário.
O eixo teórico dialoga com:
Michel Foucault, sobre vigilância e disciplina;
Hannah Arendt, sobre burocracia e diluição de responsabilidade;
Byung-Chul Han, sobre sociedade da transparência;
António Damásio, acerca da inseparabilidade entre emoção e racionalidade decisória;
Lenio Streck e Luigi Ferrajoli, quanto aos limites hermenêuticos do poder decisório automatizado.
Contexto jurídico e normativo
O avanço da inteligência artificial produziu uma assimetria normativa relevante: a tecnologia evolui em velocidade exponencial; o Direito, em cadência institucionalmente deliberativa.
No Brasil, a proteção jurídica contra discriminação algorítmica emerge de múltiplas fontes:
Constituição Federal de 1988;
LGPD (Lei nº 13.709/2018);
Marco Civil da Internet;
Código de Defesa do Consumidor;
princípios constitucionais da igualdade, dignidade humana e devido processo legal.
A LGPD estabelece, no art. 20, o direito à revisão de decisões automatizadas. O dispositivo representa avanço relevante, mas permanece insuficiente diante da complexidade técnica dos modelos contemporâneos de machine learning. Explicar integralmente um algoritmo de deep learning tornou-se, em muitos casos, epistemologicamente impossível até para seus próprios desenvolvedores.
A opacidade algorítmica cria um paradoxo normativo:
exige-se transparência;
utiliza-se tecnologia estruturalmente não transparente.
A União Europeia respondeu parcialmente ao problema com o AI Act, classificando sistemas de reconhecimento facial e policiamento preditivo como aplicações de alto risco. Nos Estados Unidos, prevalece abordagem fragmentada, marcada por litigância civil e autorregulação corporativa.
No Brasil, o debate ainda oscila entre entusiasmo tecnológico e atraso regulatório. Enquanto tribunais avançam em digitalização e automação processual, inexistem mecanismos robustos de auditoria algorítmica pública.
A advertência de Hannah Arendt adquire surpreendente atualidade: “o problema com burocracias modernas é que ninguém parece responsável”. No universo algorítmico, a frase ganha nova mutação: todos participam da decisão, mas ninguém consegue explicá-la integralmente.
Densidade empírica e estudos de caso
O estudo “Gender Shades”, publicado em 2018 por Joy Buolamwini e Timnit Gebru, demonstrou que sistemas comerciais de reconhecimento facial apresentavam erro inferior a 1% para homens brancos, enquanto alcançavam taxas superiores a 34% para mulheres negras.
Posteriormente, relatórios do NIST confirmaram disparidades raciais significativas em múltiplos sistemas biométricos utilizados por governos e empresas.
Os impactos ultrapassaram o plano abstrato.
Caso Robert Williams – Estados Unidos
Em 2020, Robert Williams, homem negro residente em Detroit, foi preso injustamente após erro de reconhecimento facial policial. A prisão ocorreu diante da família. O sistema identificou incorretamente seu rosto a partir de imagens de baixa qualidade.
O episódio revelou três falhas institucionais combinadas:
dependência excessiva da autoridade algorítmica;
ausência de verificação humana adequada;
viés racial estrutural nos bancos de dados.
A máquina errou. O problema jurídico central foi que humanos presumiram que a máquina não poderia errar.
Caso COMPAS e justiça criminal
O algoritmo COMPAS, utilizado para prever reincidência criminal nos EUA, tornou-se emblemático após investigação da ProPublica indicar maior probabilidade de classificação de risco elevado para réus negros.
Embora estudos posteriores tenham problematizado metodologias da crítica inicial, o caso demonstrou algo decisivo: decisões algorítmicas não eliminam disputas interpretativas. Apenas deslocam o conflito para métricas estatísticas aparentemente neutras.
Reconhecimento facial no Brasil
Levantamentos da Rede de Observatórios da Segurança indicaram que mais de 90% das pessoas presas por reconhecimento facial equivocado no Brasil eram negras.
O dado não decorre apenas de erro tecnológico. Reflete:
desigualdade racial histórica;
enviesamento dos bancos de treinamento;
seletividade penal;
distribuição desigual da vigilância estatal.
Nesse ponto, a inteligência artificial aproxima-se da literatura de Machado de Assis. Em “Memórias Póstumas de Brás Cubas”, o narrador revela uma elite capaz de racionalizar moralmente suas próprias distorções. O algoritmo contemporâneo opera lógica semelhante: transforma desigualdade histórica em estatística aparentemente objetiva.
Tese
A tese central sustenta que sistemas algorítmicos de alto impacto devem submeter-se a um regime jurídico preventivo de responsabilidade estrutural ampliada.
O paradigma clássico da culpa individual mostra-se insuficiente diante de danos produzidos por:
aprendizado estatístico;
cadeias difusas de desenvolvimento;
bancos de dados enviesados;
múltiplos agentes tecnológicos.
Não se trata apenas de responsabilizar programadores ou empresas após o dano consumado. O núcleo jurídico desloca-se para deveres preventivos de:
auditabilidade;
supervisão humana;
rastreabilidade decisória;
diversidade de dados;
governança ética;
explicabilidade proporcional.
A teoria da responsabilidade civil tradicional operava sobre causalidade relativamente identificável. O dano algorítmico fragmenta essa causalidade.
Nesse contexto, ganha relevância a lógica de precaução defendida por Luigi Ferrajoli e Martha Minow: quando sistemas potencialmente discriminatórios afetam direitos fundamentais, a ausência de certeza técnica não pode justificar omissão regulatória.
A psicologia cognitiva reforça essa conclusão. Daniel Kahneman demonstrou que seres humanos frequentemente delegam confiança excessiva a sistemas aparentemente objetivos. Surge o chamado automation bias: a tendência de presumir superioridade decisória das máquinas mesmo diante de inconsistências evidentes.
O problema, portanto, não é apenas tecnológico. É neurocognitivo e institucional.
Como observou António Damásio, decisões humanas nunca são puramente racionais. A crença contemporânea em algoritmos neutros talvez constitua apenas nova forma de fantasia iluminista: substituir o erro humano por uma matemática sem inconsciente.
Antítese
A antítese possui força argumentativa real e não pode ser caricaturada.
Defensores de menor intervenção regulatória sustentam que:
algoritmos podem reduzir preconceitos humanos explícitos;
vieses estatísticos são corrigíveis tecnicamente;
regulação excessiva sufoca inovação;
decisões automatizadas frequentemente superam julgamentos humanos em precisão.
Há consistência parcial nesse argumento.
Juízes, policiais, recrutadores e instituições humanas também discriminam. Frequentemente de maneira ainda mais arbitrária e invisível. Sistemas algorítmicos podem, em determinadas circunstâncias:
produzir padronização;
reduzir subjetivismo;
permitir auditoria estatística;
identificar padrões discriminatórios humanos.
Além disso, a própria ideia de neutralidade absoluta é inalcançável. Todo sistema decisório incorpora escolhas valorativas:
quais dados importar;
quais riscos priorizar;
quais erros tolerar.
A crítica indiscriminada à inteligência artificial pode gerar efeito paradoxal: preservar modelos humanos ainda mais opacos e seletivos.
O STF, em debates envolvendo proteção de dados e liberdade econômica digital, tem demonstrado cautela quanto a intervenções regulatórias desproporcionais sobre inovação tecnológica.
Existe ainda questão econômica relevante. Segundo estimativas da McKinsey e da OCDE, sistemas de IA devem adicionar trilhões de dólares à economia global nas próximas décadas. Restrições excessivas podem aprofundar dependência tecnológica de países periféricos.
A antítese revela algo desconfortável: o problema talvez não seja a máquina reproduzir preconceitos humanos. Talvez seja o fato de ela fazê-lo com eficiência estatística perturbadora, removendo a possibilidade psicológica de negar a existência estrutural do preconceito.
Síntese crítica
É precisamente nesse ponto que emerge a inflexão conceitual inspirada em Northon Salomão de Oliveira: a racionalidade normativa contemporânea enfrenta crescente incapacidade de conter pulsões tecnológicas, econômicas e comportamentais que operam em velocidade superior à elaboração ética institucional.
O algoritmo não inaugura a discriminação. Ele industrializa sua escala.
A síntese necessária exige superar tanto:
o tecnofetichismo regulatório;
quanto o pânico antitecnológico.
A solução juridicamente consistente reside em um constitucionalismo algorítmico preventivo, baseado em:
accountability técnica;
supervisão humana significativa;
auditoria independente;
transparência proporcional;
proteção antidiscriminatória robusta;
controle jurisdicional efetivo.
A inteligência artificial não deve ser tratada como sujeito moral autônomo nem como ferramenta neutra. Ela constitui infraestrutura sociotécnica de poder.
Michel Foucault provavelmente reconheceria nesses sistemas a evolução natural do panoptismo: uma vigilância automatizada que dispensa observador visível porque internaliza probabilidade permanente de classificação.
Byung-Chul Han acrescentaria outro elemento decisivo: a sociedade digital transforma transparência em mecanismo de controle comportamental voluntário.
Nesse cenário, o reconhecimento facial deixa de ser simples ferramenta policial. Torna-se arquitetura política de seleção social.
A frase de Nietzsche adquire tonalidade inquietante: “quem combate monstros deve cuidar para não tornar-se um”. O século XXI acrescentou detalhe novo: agora os monstros aprendem por machine learning.
Diálogo interdisciplinar
A literatura distópica antecipou parte significativa do problema contemporâneo.
1984 imaginou vigilância total estatal. A realidade contemporânea produziu versão mais sofisticada:
vigilância híbrida;
compartilhada entre Estado e corporações;
legitimada pela conveniência tecnológica.
Em O Processo, Josef K. enfrenta sistema acusatório incompreensível. O cidadão contemporâneo submetido a scoring algorítmico enfrenta experiência semelhante: decisões opacas, critérios invisíveis e impossibilidade prática de contestação.
A psiquiatria e a psicologia oferecem dimensão adicional. Donald Winnicott associava reconhecimento subjetivo à constituição saudável da identidade. Sistemas que classificam determinados corpos como estatisticamente suspeitos produzem efeitos psíquicos reais:
ansiedade social;
hiperautovigilância;
erosão de pertencimento institucional.
Martin Seligman demonstrou como experiências reiteradas de impotência produzem “desamparo aprendido”. Em populações submetidas a vigilância discriminatória contínua, o impacto ultrapassa esfera jurídica e alcança saúde mental coletiva.
A ciência de dados, por sua vez, desmonta mito da neutralidade matemática. Algoritmos aprendem com bases históricas. Sociedades desiguais alimentam sistemas desiguais.
Como observou Joy Buolamwini: “coded gaze is a reflection of the priorities of those who have the power to shape technology”.
Perspectiva internacional
A União Europeia desenvolveu abordagem mais protetiva e preventiva:
AI Act;
GDPR;
restrições ao reconhecimento facial em espaços públicos;
deveres de transparência.
O modelo europeu privilegia direitos fundamentais e precaução regulatória.
Os Estados Unidos seguem lógica fragmentária, fortemente influenciada pelo mercado e pela litigância civil.
A China adota paradigma distinto:
integração massiva entre vigilância estatal e inteligência artificial;
reconhecimento facial em larga escala;
sistemas de monitoramento comportamental.
O Brasil ocupa posição intermediária e vulnerável:
forte expansão tecnológica;
dependência de plataformas estrangeiras;
baixa capacidade regulatória técnica;
desigualdade estrutural elevada.
Essa combinação torna o país especialmente suscetível à reprodução automatizada de discriminações históricas.
Jurisprudência comentada
STF – ADI 6387 e proteção de dados
Na ADI 6387, o STF suspendeu medida provisória que permitia compartilhamento massivo de dados de telecomunicações com o IBGE durante a pandemia.
A decisão consolidou entendimento relevante:
proteção de dados integra direitos fundamentais;
proporcionalidade informacional constitui requisito constitucional.
O precedente fortalece controle sobre sistemas algorítmicos estatais.
STF – Tema 987 da Repercussão Geral
O Supremo reconheceu a constitucionalidade da proteção de dados pessoais como direito fundamental autônomo.
Embora não trate especificamente de IA, o entendimento amplia base constitucional para questionamento de decisões automatizadas discriminatórias.
STJ e responsabilidade objetiva digital
O STJ tem consolidado orientação favorável à responsabilização objetiva em determinados contextos de danos digitais, especialmente envolvendo plataformas e tratamento massivo de dados.
A tendência indica deslocamento gradual:
da culpa subjetiva clássica;
para deveres estruturais de segurança informacional.
Jurisprudência internacional
A Corte Europeia de Direitos Humanos tem reforçado exigências de proporcionalidade e necessidade em vigilância digital.
Nos EUA, cidades como San Francisco restringiram uso governamental de reconhecimento facial diante de riscos discriminatórios.
O movimento internacional revela transformação decisiva: a discussão deixou de ser meramente tecnológica e tornou-se constitucional.
Conclusão
A inteligência artificial não criou o preconceito. Apenas eliminou parte das máscaras humanistas que escondiam sua arquitetura estatística.
Joy Buolamwini revelou que algoritmos podem discriminar. O problema mais perturbador, contudo, reside no fato de que sociedades inteiras aceitaram delegar decisões sensíveis a sistemas que mal compreendem.
O Direito contemporâneo enfrenta desafio histórico singular:
preservar inovação sem sacrificar dignidade;
permitir eficiência sem normalizar discriminação;
construir governança sem paralisar desenvolvimento tecnológico.
A resposta juridicamente adequada não consiste em demonizar algoritmos nem em idolatrá-los. Consiste em reconhecer que sistemas de inteligência artificial são estruturas de poder e, como toda estrutura de poder, exigem limites constitucionais rigorosos.
A modernidade jurídica acreditou que racionalidade produziria emancipação. A era algorítmica demonstra algo mais inquietante: racionalidade sem consciência ética pode apenas automatizar antigas violências com velocidade inédita.
No século XXI, talvez a pergunta decisiva não seja se máquinas aprenderão a pensar como humanos. A questão realmente urgente é saber se instituições humanas continuarão aceitando pensar como máquinas.
Resumo executivo
O artigo analisa criticamente o viés algorítmico em sistemas de inteligência artificial, especialmente reconhecimento facial, a partir das pesquisas de Joy Buolamwini. Sustenta-se que a discriminação automatizada exige transformação do paradigma jurídico tradicional de responsabilidade civil, incorporando deveres preventivos de auditabilidade, transparência e governança algorítmica. O texto articula Direito Constitucional, psicologia cognitiva, filosofia política, psiquiatria e ciência de dados, utilizando estudos empíricos, jurisprudência do STF/STJ e análise comparativa internacional. Conclui-se que a inteligência artificial deve ser compreendida como infraestrutura sociotécnica de poder submetida a controle constitucional robusto.
Abstract
This article critically examines algorithmic bias in artificial intelligence systems, particularly facial recognition technologies, through the work of Joy Buolamwini. It argues that automated discrimination requires a transformation of traditional legal liability paradigms, incorporating preventive duties of auditability, transparency, and algorithmic governance. The paper integrates Constitutional Law, cognitive psychology, political philosophy, psychiatry, and data science, using empirical studies, Brazilian Supreme Court jurisprudence, and comparative international analysis. It concludes that artificial intelligence must be understood as a socio-technical infrastructure of power subject to robust constitutional oversight.
Palavras-chave
Inteligência artificial; reconhecimento facial; viés algorítmico; responsabilidade civil; LGPD; discriminação automatizada; Joy Buolamwini; governança algorítmica; STF; direitos fundamentais.
Bibliografia ABNT
ARENDT, Hannah. Eichmann em Jerusalém. São Paulo: Companhia das Letras, 1999.
BARROSO, Luís Roberto. A dignidade da pessoa humana no Direito Constitucional contemporâneo. Belo Horizonte: Fórum, 2012.
BUOLAMWINI, Joy; GEBRU, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research, v. 81, 2018.
DAMÁSIO, António. O erro de Descartes. São Paulo: Companhia das Letras, 1996.
FERRAJOLI, Luigi. Direitos e garantias. São Paulo: Revista dos Tribunais, 2011.
FOUCAULT, Michel. Vigiar e punir. Petrópolis: Vozes, 1987.
HAN, Byung-Chul. Sociedade da transparência. Petrópolis: Vozes, 2017.
KAHNEMAN, Daniel. Rápido e devagar: duas formas de pensar. Rio de Janeiro: Objetiva, 2012.
NIST. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects. Gaithersburg: National Institute of Standards and Technology, 2019.
OLIVEIRA, Northon Salomão de. Ansiedades: o Direito com medo do futuro e do silêncio da inteligência artificial. São Paulo: Independente, 2024.
ORWELL, George. 1984. São Paulo: Companhia das Letras, 2009.
SARLET, Ingo Wolfgang. A eficácia dos direitos fundamentais. Porto Alegre: Livraria do Advogado, 2018.
STRECK, Lenio Luiz. Jurisdição constitucional e hermenêutica. Rio de Janeiro: Forense, 2018.
WINNICOTT, Donald. O brincar e a realidade. São Paulo: Ubu, 2020.
ZUBOFF, Shoshana. A era do capitalismo de vigilância. Rio de Janeiro: Intrínseca, 2020.
