IA e a necessidade de transparência
Para que o enviesamento da Inteligência Artificial seja combatido, é necessário que a tecnologia seja transparente. Para que haja transparência, é necessário ter explicabilidade. Neste vértice, Alves e Andrade (2021) afirmam que é possível transformar a caixa-preta da IA em uma caixa de vidro. Com a metáfora, os autores se referem a conferir explicabilidade para os algoritmos de IA, de modo que os tornem transparentes para quem quer que os investigue. Para tanto, ressaltam a existência de duas principais técnicas de XAI (Explainable Artificial Intelligence) com potencial de resolver a questão da opacidade da maior parte dos modelos de IA: SHAPs (Shapley Additive Explanations) e LIME (Local Interpretable Model-agnostic Explanations).
As SHAPs funcionam indicando o peso da influência de cada variável envolvida no processo decisório do algoritmo de IA. Através das SHAPS, o interessado tem um relatório de como o sistema decidiu e sob que percentual cada variável decisória atuou no processo. A técnica LIME, por sua vez, é aplicada a modelos de classificação de imagem. Consiste em gerar perturbações na imagem de entrada a fim de encontrar superpixels, que são áreas da imagem que correspondem à presente na base de dados de classificação, assim apontando o porquê determinada imagem foi classificada de acordo com uma dada categoria.
Além de reduzir a opacidade, os autores afirmam que as técnicas de XAI podem revelar falhas algorítmicas e mitigar o enviesamento, garantindo ainda o direito à explicação. Ressaltam que os algoritmos frequentemente oferecem respostas aparentemente corretas, mas por premissas incorretas ou indesejáveis, o que pode vir à tona através do uso de XAI, possibilitando aos programadores a melhoria dos modelos.
Sob outro prisma, Alves e Andrade (2021) argumentam que nem todo sistema de IA precisa ser explicável, mas apenas aqueles que tratam informações pessoais sensíveis e geram um impacto importante nos direitos das pessoas. O necessário é que se busque um caminho para que o desenvolvimento e uso de IA seja fundamentado nos pilares da transparência e da segurança jurídica. É preciso que, sempre que a aplicação da IA gere repercussões sérias para alguém, tal indivíduo possua direito de explicação de como o algoritmo funciona, e de que forma ele decide.
De mais a mais, é inviável pensar em IA transparente apenas com a apresentação do código-fonte, principalmente quando se trata de deep learning, em que o funcionamento dos algoritmos é dinâmico e altamente complexo. O que se espera, com o amadurecimento do discurso sobre a transparência de IA, é que os futuros modelos sejam capazes de apontar probabilisticamente a influência de cada variável utilizada em seu processo decisório, tornando o seu funcionamento o mais claro possível e de acordo com o destinatário da explicação. Ou seja, a IA deve ser capaz de se autoexplicar de uma forma para um interessado leigo e de outra forma para um interessado com expertise no assunto, tendo como objetivo a compreensibilidade.
IA e regulamentação
A regulamentação de IA no Brasil ainda é incipiente. O art. 20. da Lei Geral de Proteção de Dados (LGPD) – Lei n. 13.709/2018 é o dispositivo legal com maior peso sobre a questão. O caput institui o direito de revisão de decisões tomadas por IA que utiliza dados pessoais:
Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade (BRASIL, 2018).
Ademais, os parágrafos primeiro e segundo do dispositivo instituem o direito à explicação sobre o sistema de IA que toma decisão automatizada, sempre que solicitado. Entende-se que a solicitação deve se dar por pessoa interessada, isto é, que tenha algum direito seu afetado pela decisão automática:
§ 1º O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.
§ 2º Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais (BRASIL, 2018).
Também é digno de realce o art. 30. da LINDB (Lei de Introdução às Normas do Direito Brasileiro – Decreto-Lei n. 4.657/1942), que confere às autoridades públicas o poder regulatório para tratar de assuntos de sua competência. Vale mencionar que a Autoridade Nacional de Proteção de Dados (ANPD) possui competência administrativa para editar regulamentos acerca do uso de dados por inteligência artificial no país:
Art. 30. As autoridades públicas devem atuar para aumentar a segurança jurídica na aplicação das normas, inclusive por meio de regulamentos, súmulas administrativas e respostas a consultas.
Parágrafo único. Os instrumentos previstos no caput deste artigo terão caráter vinculante em relação ao órgão ou entidade a que se destinam, até ulterior revisão (BRASIL, 1942).
Ainda, possuem importante status em termos de regulamentação de IA no Poder Judiciário as resoluções n.ºs 331/2020 e 332/2020 do Conselho Nacional de Justiça (CNJ), que tratam, respectivamente, da base nacional de dados do Poder Judiciário (Datajud) e sobre a ética, a transparência e a governança na produção e no uso de inteligência artificial no Poder Judiciário. O art. 7º, parágrafo 3º da Resolução n. 332/2020 traz que, no caso do uso de IA para suporte às decisões judiciais, “a impossibilidade de eliminação do viés discriminatório do modelo de Inteligência Artificial implicará na descontinuidade de sua utilização, com o consequente registro de seu projeto e as razões que levaram a tal decisão”.
Sob a ótica do direito comparado, tem-se que o primeiro marco legal significativo em regulamentação de IA no mundo é o IA Act da União Europeia (European Comission, 2024). A legislação, que entrou em vigor em 1º de agosto de 2024, cria diversos mecanismos de supervisão do desenvolvimento de IA na Europa, com vistas a reduzir os riscos gerados pelo uso de IA, além de aumentar a transparência e a confiabilidade da tecnologia. Nesse sentido, a lei cria quatro níveis de risco para sistemas de IA: risco inaceitável, alto risco, risco limitado e risco mínimo.
Os sistemas de risco inaceitável passam a ser proibidos, sendo aqueles que importam em clara ameaça à segurança, aos meios de subsistência e aos direitos das pessoas. Como exemplo, tem-se a pontuação social por governos e brinquedos que usam assistência por voz que incentiva comportamentos perigosos.
Os sistemas de alto risco, por outro lado, estão sujeitos a obrigações rigorosas antes de serem colocados no mercado, que incluem a avaliação e mitigação de riscos, a alta qualidade dos conjuntos de dados que alimentam o sistema, visando eliminar riscos e resultados discriminatórios, a rastreabilidade das atividades, a documentação detalhada sobre o sistema e sua finalidade, medidas de supervisão humana adequadas para minimizar os riscos, além de alto nível de robustez, segurança e precisão (European Comission, 2024). Como exemplos de sistemas de IA de alto risco, estão aqueles voltados a infraestruturas críticas, como transportes, saúde, educação, aplicação da lei, migração e administração da justiça.
Os sistemas de risco limitado e de risco mínimo, por sua vez, são aqueles cujo uso possui baixa probabilidade de acarretar danos aos direitos individuais e coletivos. Para estes, a lei estabelece basicamente obrigações de transparência, visando promover a confiança. Para sistemas de risco limitado, como chatbots, é essencial informar os usuários de que estão interagindo com máquinas, garantindo decisões informadas, além de identificar conteúdos gerados por IA, especialmente aqueles destinados a informar o público ou que sejam falsificações profundas – deepfake. Já os sistemas de risco mínimo, como jogos de vídeo com IA ou filtros de spam, têm uso livre e abrangem a maioria das aplicações atuais na União Europeia.
Em que pese o Brasil ter tido iniciativas legislativas no sentido de se instituir uma Política Nacional de Inteligência Artificial, tal como o projeto de lei n. 5.691/2019 que restou prejudicado e arquivado, está claro que os debates sobre a área ainda carecem de muito amadurecimento, até quiçá se aproximar da experiência europeia.
Considerações Finais
A quarta revolução industrial trouxe consigo uma integração sem precedentes entre os domínios físicos, digitais e biológicos, destacando a Inteligência Artificial como um dos pilares dessa transformação. Contudo, a ascensão dessa tecnologia também revelou desafios significativos, como o enviesamento algorítmico, que reflete e amplia os preconceitos já presentes nas sociedades.
Este estudo abordou como os vieses cognitivos humanos, inevitáveis no cotidiano, são transferidos para os sistemas de IA durante o enquadramento dos problemas, a coleta e o processamento de dados. A análise de casos práticos, como o enviesamento no sistema COMPAS e nas redes sociais, demonstra os impactos sociais e éticos desse fenômeno. Observou-se que a ausência de diversidade humana nas equipes de desenvolvimento e a opacidade dos algoritmos agravam ainda mais o problema.
A necessidade de medidas mitigadoras é evidente. Estratégias como a explicabilidade algorítmica (XAI), por meio de técnicas como SHAP e LIME, mostram-se promissoras para tornar os sistemas de IA mais transparentes e confiáveis. Além disso, iniciativas regulatórias como o AI Act da União Europeia apontam para a importância de marcos legais robustos que assegurem a justiça, a segurança e a confiança no uso dessa tecnologia.
Assim, conclui-se que o enfrentamento do enviesamento algorítmico demanda uma abordagem multidisciplinar, que envolva não apenas avanços técnicos, mas também esforços legislativos e éticos, a serem empreendidos por governos, empresas e sociedade civil. No cenário brasileiro, faz-se necessário um amadurecimento dos debates na seara legislativa, com a inclusão de especialistas do campo da ética em ciência da informação, além de profissionais do ramo de IA, não se limitando aos juristas. Apenas por meio da conjugação de tais iniciativas será possível construir uma IA que promova a inclusão e a equidade, minimizando os riscos de danos aos direitos individuais e coletivos e de perpetuação de desigualdades históricas.
Referências
ALVES, M. A. S.; ANDRADE, O. M. de. Da “caixa-preta” à “caixa de vidro”: o uso da explainable artificial intelligence (XAI) para reduzir a opacidade e enfrentar o enviesamento em modelos algorítmicos. Direito Público, [S. l.], v. 18, n. 100, 2022. DOI: 10.11117/rdp.v18i100.5973. Disponível em: https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/5973. Acesso em: 23 dez. 2024.
BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, DF: Presidência da República, [2018]. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm. Acesso em: 23 dez. 2024.
BRASIL. Decreto-Lei Nº 4.657, de 4 de setembro de 1942.: Lei de Introdução às normas do Direito Brasileiro. Rio de Janeiro. Disponível em: https://www.planalto.gov.br/ccivil_03/decreto-lei/del4657compilado.htm. Acesso em: 23 dez. 2024.
CASTRO, B. F. de; BOMFIM, G. A INTELIGÊNCIA ARTIFICIAL, O DIREITO E OS VIESES. Revista Ilustração, [S. l.], v. 1, n. 3, p. 31–45, 2021. DOI: 10.46550/ilustracao.v1i3.23. Disponível em: https://journal.editorailustracao.com.br/index.php/ilustracao/article/view/23. Acesso em: 23 dez. 2024.
CIALDINI, Robert B. As Armas da Persuasão 2.0: edição revista e ampliada. Rio de Janeiro: Harper Collins, 2022.
Conselho Nacional de Justiça. Painel da Pesquisa sobre Inteligência Artificial 2023: resultados da pesquisa ia no poder judiciário. Resultados da Pesquisa IA no Poder Judiciário. 2024. Disponível em: https://paineisanalytics.cnj.jus.br/single/?appid=43bd4f8a-3c8f-49e7-931f-52b789b933c4&sheet=e4072450-982c-48ff-9e2d-361658b99233&theme=horizon&lang=pt-BR&opt=ctxmenu,currsel&select=Ramo%20da%20Justi%C3%A7a,&select=Tribunal,&select=Seu%20Tribunal/%20Conselho%20possui%20Projeto%20de%20IA?,. Acesso em: 27 dez. 2024.
CORMEN, Thomas H. et al. Algoritmos: teoria e prática. 3. ed. São Paulo: Elsevier, 2012.
European Comission. AI Act. 2024. Disponível em: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai. Acesso em: 02 jan. 2024.
FLORES, N. C. DA S.; SANTOS, R. DE S. A. . DIREITO E INTELIGÊNCIA ARTIFICIAL: METAMORFOSE, VIESES ALGORÍTMICOS E DECISIONISMO TECNOLÓGICO NO BRASIL. Revista Direito e Justiça: Reflexões Sociojurídicas, v. 21, n. 40, p. 99-113, 24 maio 2021.
JAIN, S.; KAUR, K. Exploring Gender Stereotyping in Indian Social Media Content: A NVivo-Based Content Analysis. In: INTERNATIONAL CONFERENCE ON COMPUTING COMMUNICATION AND NETWORKING TECHNOLOGIES (ICCCNT), 14., 2023, Delhi, India. Proceedings [...]. Delhi: IEEE, 2023. p. 1-6. DOI: 10.1109/ICCCNT56998.2023.10306799.
KAHNEMAN, Daniel. Rápido e Devagar: duas formas de pensar. Rio de Janeiro: Objetiva, 2021.
NOBRE, Daniela Kojiio. Processo Penal e Direitos Humanos: notas iniciais sobre sistemas que utilizam inteligência artificial em julgamentos. Dimensões Jurídicas dos Direitos Humanos, Rio de Janeiro, v. 4, p. 83-92, 2020. Disponível em: https://www.caedjus.com/wp-content/uploads/2020/11/dimensoes_juridicas_dos_direitos_humanos_vol4.pdf#page=83. Acesso em: 15 dez. 2024.
Supremo Tribunal Federal. STF e TRT-4 firmam acordo para compartilhar desenvolvimento de sistema de inteligência artificial: termo de cooperação visa automatização de tarefas burocráticas e da pesquisa de jurisprudência.. Termo de cooperação visa automatização de tarefas burocráticas e da pesquisa de jurisprudência.. 2024. Disponível em: https://dx.doi.org/10.19135/revista.consinter.00013.04.
VIEIRA, Leonardo Marques. A PROBLEMÁTICA DA INTELIGÊNCIA ARTIFICIAL E DOS VIESES ALGORÍTMICOS: CASO COMPAS. In: Brazilian Technology Symposium, Campinas, SP: Mackenzie, 2019.
Winston, P. H. (1992). Artificial Intelligence (Third edition). Addison-Wesley.
Notas
1 Perfil de Gestão Correcional de Ofensores para Sanções Alternativas
2 O princípio segundo o qual ninguém será considerado culpado senão por meio de sentença penal condenatória definitiva.
3 O princípio segundo o qual ninguém pode ser responsabilizado penalmente por um crime sem que tenha agido com dolo (intenção) ou culpa (negligência, imprudência ou imperícia).
4 O princípio da personalidade da pena estabelece que a pena não pode ultrapassar a pessoa do condenado.
Abstract: The fourth industrial revolution has brought profound technological transformations driven by the integration of Artificial Intelligence (AI) into various areas of society. This article investigates how human cognitive biases are transferred to AI systems, generating significant ethical and social impacts. The research adopts a qualitative approach based on a literature review and case analysis, addressing practical examples in social media and the Judiciary. Furthermore, it discusses strategies to mitigate algorithmic bias, such as model explainability and diversity in development teams, as well as regulatory initiatives in national and international contexts. It concludes that addressing algorithmic bias requires multidisciplinary efforts to promote transparency, safety and reliance in AI usage.
Key words : Artificial Intelligence, Algorithmic Bias, Cognitive Biases, Explainability, AI Regulation.
