6. Propostas para o Controle e a Responsabilização Jurídica do Viés Algorítmico
A crescente inserção de sistemas algorítmicos nas estruturas decisórias do Estado e do mercado vem colocando em xeque a efetividade dos direitos fundamentais, especialmente no que tange à igualdade material, à não discriminação e à proteção da dignidade humana. Quando decisões que impactam diretamente a vida dos cidadãos — como o acesso ao crédito, ao trabalho ou à justiça — passam a ser mediadas por tecnologias opacas e muitas vezes enviesadas, torna-se imprescindível que o ordenamento jurídico reaja com instrumentos normativos capazes de controlar e, quando necessário, responsabilizar aqueles que concebem, implementam e operam tais sistemas.
Essa resposta deve ser multidimensional, articulando medidas preventivas e corretivas, ou seja, atuando tanto no plano ex ante (com avaliação de impacto, regulação e fiscalização) quanto ex post (com responsabilização e reparação dos danos causados). Para que a governança algorítmica seja compatível com os valores constitucionais brasileiros e com os compromissos internacionais em matéria de direitos humanos, algumas diretrizes se mostram indispensáveis.
Um dos caminhos mais promissores é a adoção de auditorias independentes e regulares dos algoritmos, especialmente daqueles aplicados em setores sensíveis. Como sugerem Wachter, Mittelstadt e Floridi (2017), essas auditorias devem ser conduzidas por comissões multidisciplinares, compostas por especialistas das áreas do Direito, da ciência da computação, da estatística, da sociologia, da filosofia e, fundamentalmente, por representantes da sociedade civil. A pluralidade de saberes e vivências é essencial para avaliar criticamente os critérios de decisão, a acurácia técnica, a origem dos dados de treinamento e os possíveis impactos discriminatórios que os sistemas possam gerar. Países como Canadá e Reino Unido já adotaram práticas de avaliação de impacto algorítmico como etapa obrigatória antes da adoção de tais tecnologias em políticas públicas — exemplo que deveria inspirar reformas institucionais no Brasil.
Outro ponto central é a efetivação do direito à explicação, previsto no artigo 20 da LGPD e amplamente discutido no Regulamento Geral de Proteção de Dados da União Europeia (GDPR). Trata-se da exigência de que os indivíduos tenham acesso aos fundamentos lógicos que orientam as decisões automatizadas que os afetam, bem como a possibilidade real de contestação e revisão dessas decisões. A chamada “caixa-preta algorítmica” não pode servir de escudo técnico para decisões que violam direitos ou reforçam exclusões históricas. A explicabilidade é, portanto, uma condição para o exercício da cidadania em contextos digitais, onde a hipossuficiência informacional dos usuários se revela ainda mais acentuada.
No que se refere à responsabilização, o ordenamento jurídico brasileiro já oferece instrumentos normativos importantes, como o Código de Defesa do Consumidor, que em seu artigo 12 consagra a responsabilidade objetiva do fornecedor por defeitos nos produtos e serviços colocados no mercado. Esse regime de responsabilidade, pautado pelo risco da atividade, é plenamente aplicável ao contexto da inteligência artificial, sobretudo nos casos em que sistemas algoritmizados causam danos à honra, à imagem, à liberdade ou à dignidade de pessoas afetadas. O fato de a decisão ter sido automatizada não exime o fornecedor de seus deveres de segurança, previsibilidade e reparação — ao contrário, impõe-lhe ainda mais rigor na verificação prévia dos efeitos potencialmente discriminatórios de seus produtos.
Adicionalmente, é urgente a criação de órgãos reguladores autônomos e especializados em inteligência artificial, com competências normativas, fiscalizatórias e sancionatórias. A complexidade técnica e o ritmo acelerado da inovação exigem instituições capazes de acompanhar o desenvolvimento da tecnologia em tempo real, promovendo a homologação prévia de algoritmos de alto risco, elaborando diretrizes éticas obrigatórias e fiscalizando o uso de IA por entes públicos e privados. Essa proposta já tem respaldo internacional, especialmente nas discussões em torno do AI Act da União Europeia, que prevê a classificação e regulação diferenciada de sistemas algorítmicos com base em seu potencial lesivo.
Por fim, um aspecto estrutural, frequentemente negligenciado, é a inclusão da diversidade social e epistêmica no ciclo de vida dos algoritmos. Estudos como o de Buolamwini e Gebru (2018) demonstram que a falta de representatividade nos conjuntos de dados leva à exclusão sistemática de grupos minoritários, além de comprometer a eficácia e a justiça dos sistemas desenvolvidos. Da mesma forma, Miranda Fricker (2007) alerta para o risco da injustiça epistêmica, quando determinados saberes ou experiências são sistematicamente desconsiderados no processo de produção do conhecimento. Assim, para garantir equidade nos resultados, é essencial promover diversidade nas equipes de desenvolvimento de IA incluindo mulheres, pessoas negras, indígenas, LGBTQIA+, pessoas com deficiência e representantes de comunidades tradicionalmente marginalizadas.
A democratização dos espaços de inovação e o reconhecimento de múltiplas formas de conhecimento não são apenas exigências éticas ou políticas: são condições práticas para o desenvolvimento de tecnologias mais seguras, eficazes e respeitosas dos direitos humanos. Nesse sentido, o papel do Direito é não apenas o de sancionar post factum, mas de prevenir e orientar o desenvolvimento da inteligência artificial com base em critérios de justiça, transparência e inclusão.
7. Considerações finais
A crença na neutralidade dos algoritmos é, hoje, um dos mitos mais perigosos da era digital. Longe de funcionarem como instrumentos puramente técnicos e objetivos, os sistemas algorítmicos são construções humanas, impregnadas dos valores, preconceitos e desigualdades do contexto social em que são desenvolvidos. Quando essas tecnologias são aplicadas indiscriminadamente, sem mecanismos adequados de controle, transparência e responsabilidade, correm o risco de cristalizar — sob a aparência de racionalidade matemática — as estruturas de exclusão e opressão que historicamente marcam sociedades desiguais.
A perpetuação de vieses de gênero, raça e classe por meio de decisões automatizadas evidencia a necessidade urgente de um novo paradigma jurídico e institucional que enfrente o problema do viés algorítmico não apenas como uma falha técnica, mas como um problema normativo e ético-estrutural. A Constituição Federal de 1988, ao consagrar a dignidade da pessoa humana e a igualdade como fundamentos da República, exige que toda inovação tecnológica seja submetida a esses parâmetros, sob pena de se tornar instrumento de discriminação legitimada por código-fonte.
Nesse sentido, o Direito assume um papel central e ativo: é ele quem deve estabelecer os limites da atuação automatizada, garantir a reparação dos danos e criar as condições para uma governança algorítmica democrática, plural e transparente. Mas esse esforço regulatório não pode ser solitário. A construção de um futuro digital mais justo requer a atuação articulada do Estado, da sociedade civil, da academia e do setor produtivo, com ênfase em auditorias públicas, diversidade nas equipes técnicas, acesso à informação e fortalecimento dos canais de contestação cidadã.
O avanço da inteligência artificial, portanto, não pode se dar à revelia da justiça, da equidade e dos direitos humanos. A inovação só será socialmente legítima se estiver orientada por valores que promovam inclusão, proteção e liberdade. Cabe ao Direito, mais do que acompanhar esse processo, liderar sua transformação ética, garantindo que os algoritmos não sejam utilizados para repetir as injustiças do passado, mas sim para construir novas possibilidades de igualdade no presente.
Referências Bibliográficas
ANGWIN, Julia et al. Machine Bias. ProPublica, 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing Acesso em: 12 jun 2025.
BAROCAS, Solon; SELBST, Andrew D. Big Data’s Disparate Impact. California Law Review, v. 104, n. 3, p. 671-732, 2016. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2477899 Acesso em: 13 jun 2025.
BRASIL. Constituição da República Federativa do Brasil de 1988.
BRASIL. Lei n. 12.965, de 23 de abril de 2014 (Marco Civil da Internet).
BRASIL. Lei n. 13.709, de 14 de agosto de 2018 (Lei Geral de Proteção de Dados Pessoais).
BUOLAMWIN, Joy; GEBRU, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research, 2018.
CALO, Ryan. Robotics and the Lessons of Cyberlaw. California Law Review, v. 103, p. 513-563, 2015.
DASTIN, Jeffrey. Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women. Reuters, 2018. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G Acesso em: 13 jun 2025.
DOSHI-VELEZ, Finale; KIM, Been. Towards a rigorous science of interpretable machine learning. arXiv preprint, 2017. Disponível em: https://arxiv.org/abs/1702.08608
EUBANKS, Virginia. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin’s Press, 2018.
FRICKER, Miranda. Epistemic Injustice: Power and the Ethics of Knowing. Oxford: Oxford University Press, 2007.
FLORIDI, Luciano et al. AI4People: An Ethical Framework for a Good AI Society. Minds and Machines, v. 28, p. 689–707, 2018.
HARAWAY, Donna. Manifesto Cyborg: ciência, tecnologia e feminismo-socialista no final do século XX. In: HARAWAY, Donna. Manifesto Ciborgue e outros ensaios. Belo Horizonte: Autêntica, 2009.
LATOUR, Bruno. Reagregando o social: uma introdução à teoria do ator-rede. Salvador: EDUFBA, 2005.
NOBLE, Safiya Umoja. Algorithms of Oppression: How Search Engines Reinforce Racism. New York: NYU Press, 2018.
O'NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown Publishing Group, 2016. (O'NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. São Paulo: Difel, 2016).
PASQUALE, Frank. The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge: Harvard University Press, 2015.
ONU. Pacto Internacional sobre Direitos Civis e Políticos. 1966.
ONU. Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial. 1965.
SILVA, Tainá de Paula. Algoritmos e racismo estrutural: uma reflexão sobre o uso de dados em políticas públicas. Revista Direito e Sociedade, v. 29, n. 2, 2021.
UN HUMAN RIGHTS COUNCIL. The right to privacy in the digital age: Report of the United Nations High Commissioner for Human Rights. Geneva: United Nations, 2021. Disponível em: https://undocs.org/A/HRC/48/31 Acesso em: 12 jun 2025.
WACHTER, Sandra; MITTELSTADT, Brent; FLORIDI, Luciano. Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation. International Data Privacy Law, v. 7, n. 2, p. 76–99, 2017.
Notas
1 Aborda como os algoritmos reproduzem padrões discriminatórios baseados em dados históricos enviesados, e discute os limites éticos e legais dessa prática. Inclui debates sobre discriminação algorítmica, ética da IA, responsabilidade civil e estatal, e conexões com antropologia da tecnologia.
2 Embora os algoritmos sejam frequentemente apresentados como neutros e objetivos, diversos estudos e casos práticos demonstram que tais sistemas podem reproduzir ou mesmo ampliar preconceitos estruturais historicamente arraigados. Esta realidade impõe ao Direito a tarefa de repensar os parâmetros da Responsabilidade Civil e da justiça distributiva em face da tecnologia mais inclusiva.
3 O viés algorítmico pode ser compreendido como o desvio sistemático nos resultados produzidos por sistemas de IA, quando tais resultados refletem, reproduzem ou até mesmo amplificam preconceitos e discriminações pré-existentes nos dados utilizados para seu treinamento.
4 Correctional Offender Management Profiling For Alternative Sanctions - Sistema de algoritmo que determina pena de condenados. Disponivel em: https://www.jusbrasil.com.br/artigos/a-utilizacao-e-os-efeitos-do-software-compas/837747472 Acesso em: 13 jun 2025.
