O projeto de regulamento estabelece um direito à informação em favor do usuário de um sistema de IA, concretizando o princípio da transparência informativa.

A Comissão Europeia, braço executivo da União Europeia, apresentou no dia 21 de abril deste ano a sua proposta para regulamentação das tecnologias de inteligência artificial (IA)[1]. A proposta, que recebeu o nome de Artificial Intelligence Act[2], tem uma abordagem regulatória calcada na hierarquização dos riscos oferecidos por sistemas e tecnologias que usam IA[3].

Segundo essa visão regulatória baseada nos riscos (risk-based regulatory approach), as restrições e exigências aumentam conforme maiores sejam os riscos que os sistemas de IA possam oferecer a direitos e garantias fundamentais dos indivíduos. Os níveis de regulação são diferentes de acordo com os riscos, variam conforme os riscos que os sistemas de IA possam apresentar a valores da sociedade e direitos das pessoas.

Nessa acepção, o regulamento classifica os sistemas de IA em três diferentes patamares de risco: os de "risco inaceitável" (unacceptable risk), os de "risco elevado" (high-risk) e os de "risco limitado" (limited risk) ou de "risco mínimo" (minimal risk). O desenvolvimento e utilização de sistemas que apresentem “risco inaceitável” são completamente vedados, em razão do elevado potencial de vulneração de direitos fundamentais.

Em artigo anterior[4], descrevemos os sistemas que se enquadram na categoria de “risco inaceitável” e, por isso, são banidos do mercado, por configurarem práticas de inteligência artificial intoleráveis, violadoras de direitos fundamentais das pessoais. No presente artigo, trataremos de examinar as características dos sistemas de “alto risco” e os requisitos para que possam ser livremente comercializados.


Sistemas de “alto risco”

No Título III, o Regulamento contém regras para sistemas de IA que criam alto risco para a saúde, segurança e direitos fundamentais das pessoas. Seguindo a concepção baseada no risco (risk-based approach), essa parte do regulamento descreve sistemas que não são proibidos, mas que sofrem severas restrições quanto ao desenvolvimento, implementação e uso.

Soluções e sistemas de IA podem operar de forma autônoma ou funcionar apenas como componentes de produtos[5] colocados no mercado de consumo, aumentando os riscos à saúde e direitos fundamentais dos usuários. Por essa razão, os sistemas incluídos na categoria de “alto risco” (high-risk) se sujeitam a requisitos de conformidade e avaliação prévia de impacto, antes de serem colocados no mercado. É importante que os riscos de segurança que podem ser gerados por um produto, em razão de seus componentes digitais (incluindo sistemas de IA), sejam prevenidos e mitigados.

A classificação como um sistema de “alto risco” depende não somente da função que desempenha, mas fundamentalmente da finalidade para a qual foi concebido. À luz da “finalidade pretendida”[6], um sistema de IA, quer se trate de um produto autônomo ou componente de um produto, pode ser enquadrado nessa categoria se representar um alto risco de dano à saúde e segurança ou aos direitos fundamentais das pessoas, tendo em conta a gravidade do possível dano e probabilidade de sua ocorrência.

O Capítulo 1 do Título III do Regulamento traz um pequeno número de regras que possibilitam a identificação de sistemas de IA como de “alto risco”. Basicamente, são identificadas duas categorias de sistemas de IA de “alto risco”:

a) os que funcionam como componentes de segurança de produtos que estão sujeitos à avaliação de conformidade prévia por órgãos de controle;

b) outros sistemas independentes de IA com implicações em direitos fundamentais que estão explicitamente listados no Anexo III do Regulamento (art. 6º.).

Se um determinado produto, para ser colocado no mercado de consumo, está obrigado a se submeter previamente a um procedimento de avaliação de conformidade por algum órgão de controle governamental, segundo normas estabelecidas na legislação nacional para segurança de produtos, essa circunstância é suficiente para caracterizar o componente digital de segurança (sistema de IA) como de “alto risco”. É o que ocorre, por exemplo, com certas máquinas, brinquedos, elevadores, equipamentos e sistemas de proteção destinados ao uso em atmosferas potencialmente explosivas, equipamentos de rádio, equipamentos de pressão, instalações por cabo, aparelhos que queimam combustíveis gasosos e equipamentos médicos. Todos os sistemas de IA, que funcionam como componentes de segurança desses produtos regulados, que se submetem ao controle de órgãos que realizam uma avaliação de conformidade, são considerados de alto risco. Se o próprio produto já tem que se submeter a uma avaliação prévia de conformidade com padrões de segurança, isso faz que o componente digital desse mesmo produto seja considerado como de “alto risco”.  

Além desses sistemas de IA que funcionam como componentes de segurança de produtos submetidos a avaliações prévias de conformidade, o Regulamento traz ainda uma lista de sistemas autônomos de IA (stand-alone AI systems) que são utilizados em várias áreas especificamente predefinidas. A lista está contida no Anexo III do Regulamento e se refere a sistemas de IA utilizados, dentre outras atividades e situações, nas seguintes: i) infraestruturas críticas que possam comprometer a vida ou integridade física das pessoas (p. ex., transportes); ii) educação ou formação profissional, que tenham o potencial de restringir o acesso à educação e à evolução profissional de alguém (p. ex., classificação de exames); iii) componentes de segurança de produtos (p. ex., cirurgia assistida por robôs); iv) emprego, gestão de trabalhadores e acesso ao trabalho por conta própria (p. ex., análise de currículo em processos seletivos); v) serviços públicos e privados essenciais (p. ex., pontuação de crédito para concessão de empréstimos); vi) “aplicação coercitiva da lei” que possa interferir com os direitos fundamentais das pessoas (p. ex., avaliação da fiabilidade de provas); vii) gestão da migração e do controle de fronteiras (p. ex., verificação da autenticidade de documentos de viagem); e viii) administração da justiça e processos democráticos (p. ex.,  aplicação da lei em casos concretos) .

São classificados como de “alto risco” sistemas de IA empregados na gestão e operação de infraestruturas críticas, sobretudo quando destinados a serem utilizados como componentes de segurança na gestão e exploração da circulação rodoviária e no abastecimento de água, gás, aquecimento e eletricidade, uma vez que uma falha ou mau funcionamento pode colocar em risco a vida e a saúde das pessoas e levar a consideráveis interrupções na condução normal das atividades sociais e econômicas.

Também são considerados de “alto risco” os sistemas de IA usados na educação ou formação profissional, nomeadamente para determinar o acesso ou atribuir pessoas a instituições de ensino ou para avaliá-las em testes como pré-condição para sua educação, uma vez que podem determinar o curso educacional e profissional da vida de uma pessoa e, portanto, afetar sua capacidade de garantir seu sustento. Quando projetados e usados de maneira inadequada, tais sistemas podem violar o direito à educação e perpetuar padrões históricos de discriminação de certos grupos de pessoas.

Os sistemas de IA usados no emprego, gestão de trabalhadores e acesso ao trabalho autônomo, nomeadamente para o recrutamento e seleção de pessoas, para a tomada de decisões sobre promoção e rescisão e para atribuição de tarefas, monitoramento ou avaliação de pessoas em relações contratuais relacionadas ao trabalho, também são classificados como de “alto risco”, uma vez que esses sistemas podem ter um impacto significativo nas perspectivas de carreira futura e nos meios de subsistência dessas pessoas. Ao longo do processo de recrutamento e na avaliação, promoção ou retenção de pessoas em relações contratuais relacionadas ao trabalho, tais sistemas podem perpetuar padrões históricos de discriminação, por exemplo, contra mulheres, certos grupos etários, pessoas com deficiência ou pessoas de determinada raça, origem étnica ou orientação sexual. Os sistemas de IA usados para monitorar o desempenho e o comportamento das pessoas também podem afetar direitos relacionados à proteção de dados e privacidade individual, pois coletam vasta quantidade de dados pessoais.

Atualmente verifica-se uma rápida expansão do recrutamento de pessoas para postos de trabalho com base em ferramentas de inteligência artificial. Existem diversas modalidades de sistemas de IA e algoritmos voltados à seleção para o trabalho e emprego. A tarefa de seleção para vagas de emprego, que antes era realizada por recrutadores humanos, hoje é feita de modo automatizado, por meio de softwares de inteligência artificial, sobretudo nas grandes empresas.

Durante o processo seletivo, softwares de inteligência artificial avaliam vários aspectos da personalidade, capacidade e inteligência dos candidatos a emprego e decidem, sem interferência humana, se aprovam ou rejeitam os interessados aos postos oferecidos. Os próprios sistemas de IA montam as perguntas do processo de avaliação e, dependendo das respostas e da rapidez com que as perguntas são respondidas, situam os candidatos como aprovados ou reprovados ao emprego. Atributos cognitivos e também emocionais são avaliados pelos algoritmos de inteligência artificial. Muitos dos programas possuem funcionalidades que gravam vídeos dos candidatos respondendo a perguntas durante entrevistas e, por esse meio, classificam certos aspectos do comportamento emocional do candidato.  

As empresas que desenvolvem e comercializam esses algoritmos utilizados no processo de recrutamento para postos de trabalho garantem que testam seus sistemas contra vieses e discriminações, mas obviamente se sabe que os algoritmos não são indenes a falhas. Basta lembrar o caso que se tornou público em 2018, envolvendo o software de recrutamento utilizado pela Amazon, que incorporava preconceitos contra mulheres que disputavam os cargos. O sistema da Amazon ensinou a si mesmo que os candidatos do sexo masculino eram preferíveis porque costumavam ter mais experiência no setor de tecnologia. Como a maioria dos currículos enviados para a Amazon eram de homens interessados nas vagas - como acontece na maior parte da indústria tecnológica, onde predominam pessoas do sexo masculino -, o sistema entendeu que candidatos homens naturalmente eram mais aptos para os postos de trabalho na empresa.  A simples menção ao sexo feminino era interpretada de forma negativa pelo algoritmo, que reduzia as chances das postulantes. A equipe responsável pelo desenvolvimento da ferramenta só percebeu o problema depois que já estava sendo usada[7].   

Os sistemas de IA usados ​​para avaliar a pontuação de crédito (credit scoring)[8] ou capacidade de crédito de pessoas físicas são categorizados como de alto risco, uma vez que determinam o acesso a recursos financeiros ou serviços essenciais, como habitação, eletricidade e serviços de telecomunicações. Os sistemas de IA usados para fins de avaliação de solvência e classificação de crédito podem levar à discriminação de pessoas ou grupos e perpetuar padrões históricos de discriminação, com base em origens raciais ou étnicas, deficiências, idade, orientação sexual ou criar novas formas de impactos discriminatórios.

Outra área em que o uso de sistemas de IA merece qualificação como de “alto risco” é a relacionada com o acesso e gozo de certos serviços e benefícios públicos.  As pessoas que solicitam ou recebem benefícios e serviços de assistência pública dependem normalmente desses benefícios e serviços e estão numa posição vulnerável em relação às autoridades públicas. Sistemas de IA utilizados para determinar se tais benefícios e serviços devem ser negados, reduzidos ou revogados, podem ter um impacto significativo na vida das pessoas e infringir seus direitos fundamentais, como o direito à proteção social, não-discriminação e dignidade humana. Sobretudo sistemas que são utilizados para estabelecer prioridades no atendimento a emergências devem ser classificados como de “alto risco”, uma vez que tomam decisões em situações muito críticas para a vida e saúde de pessoas e seus bens.

A proposta de Regulamento também considera apropriado classificar como de “alto risco” sistemas de IA utilizados no contexto de aplicação da lei, onde a precisão, confiabilidade e transparência são particularmente importantes para evitar impactos adversos, manter a confiança pública e garantir responsabilidade e reparação efetiva (em caso de falha). Nessa categoria se incluem praticamente todos os sistemas utilizados por autoridades públicas para o fim de prevenção, detecção, investigação e persecução de delitos.  O conjunto de sistemas utilizados por autoridades encarregadas da aplicação da lei apresentam elevados riscos para os direitos e liberdades fundamentais das pessoas, notadamente aqueles que desempenham as seguintes funções: a) avaliação de riscos individuais; b) polígrafos[9] e ferramentas semelhantes para detectar o estado emocional de uma pessoa; c) avaliação da confiabilidade das evidências (provas) em processos criminais; d) prevenir a ocorrência ou recorrência de um crime real ou potencial com base no perfil de pessoas físicas, ou avaliação de traços de personalidade e características ou comportamento criminoso passado de pessoas físicas ou grupos, para traçar o perfil no curso de detecção, investigação ou persecução de crimes. Esses tipos de sistemas são particularmente preocupantes porque podem proporcionar a vigilância, prisão ou privação de liberdade das pessoas, assim como produzir impactos adversos em garantias fundamentais.

Nessa área de investigação criminal e persecução criminal, se o sistema não for treinado com dados confiáveis, não atender aos requisitos adequados em termos de precisão ou robustez, ou não for devidamente projetado e testado antes de ser colocado no mercado ou entrar em serviço, ele pode classificar as pessoas de forma discriminatória, incorreta ou injusta. Além disso, o exercício de importantes direitos processuais fundamentais, como o direito a um recurso efetivo e a um julgamento justo, bem como o direito de defesa e a presunção de inocência, pode ser dificultado, em particular quando tais sistemas de IA não são suficientemente transparentes, explicáveis e documentados.

O Regulamento proposto ainda considera como de “alto risco” sistemas utilizados em serviços de imigração, asilo e controle de fronteiras, porque alteram a situação e o estado de pessoas que em regra estão em posição particularmente vulnerável e que são dependentes do resultado das ações das autoridades públicas competentes. A precisão, natureza não discriminatória e transparência dos sistemas de IA usados nessas áreas são particularmente importantes para garantir o respeito dos direitos fundamentais das pessoas, nomeadamente direitos à livre circulação, não discriminação e proteção da vida privada.

Por fim, são também classificados como de “alto risco” sistemas relacionados com a administração da Justiça, em razão do impacto sobre direitos e liberdades individuais. Sistemas destinados a auxiliar autoridades judiciárias na pesquisa e interpretação de fatos e aplicação da lei, em razão dos riscos de possíveis vieses, erros e opacidade, são regulados por meio de exigências mais severas, a exemplo de todos os outros sistemas conceituados como de “alto risco”. Alguns sistemas que são utilizados para realização de atividades administrativas auxiliares, no entanto, não são considerados como de “alto risco”, porque não afetam decisões judiciárias em casos específicos, como, p. ex., programas para anonimização ou armazenamento de dados, comunicação entre funcionários e outras tarefas meramente auxiliares.

O art. 7º. do Regulamento autoriza a Comissão Europeia a atualizar a lista do Anexo III, sempre que novos sistemas de IA coloquem em risco a segurança e saúde das pessoas ou tenham potencial de impacto negativo na órbita de seus direitos fundamentais. 


Autor


Informações sobre o texto

Como citar este texto (NBR 6023:2018 ABNT)

REINALDO FILHO, Demócrito. A proposta regulatória da União Europeia para a inteligência artificial (3ª. parte) – Sistemas de alto risco. Revista Jus Navigandi, ISSN 1518-4862, Teresina, ano 26, n. 6563, 20 jun. 2021. Disponível em: https://jus.com.br/artigos/91363. Acesso em: 7 dez. 2021.

Comentários

0

Autorizo divulgar minha mensagem juntamente com meus dados de identificação.
A divulgação será por tempo indeterminado, mas eu poderei solicitar a remoção no futuro.
Concordo com a Política de Privacidade e a Política de Tratamento de Dados do Jus.

Regras de uso