6. Perícia independente e acesso proporcional à prova
A engrenagem recursal só ganha densidade quando acoplada a uma perícia independente com acesso proporcional à prova. Propõe-se uma câmara técnica acreditada, coordenada pela ANPD em regime de cooperação com as agências setoriais, que mantenha uma lista branca de peritos habilitados por critérios de competência e independência. O acesso a amostras e registros é concedido sob cadeias de custódia e salvaguardas de sigilo — clean rooms, dados minimizados, pseudonimização e NDAs estritos — e os testes se realizam em sandbox regulatório que replique o ambiente de decisão, permitindo reexecuções controladas sem exposição de código-fonte ou de segredos industriais. A produção probatória resultante organiza-se em duas camadas: um relatório técnico reservado, com traço decisivo, logs relevantes, taxas de erro e procedimentos de validação; e um sumário público, inteligível e auditável, que explicite a lógica decisória aplicada, a extensão do impacto e as correções encaminhadas. Para viabilizar escala sem penalizar a concorrência, os custos são cobertos por uma taxa setorial progressiva, com franquia para pequenas e médias empresas e ajuste por risco — quanto maior o alcance e a criticidade do sistema, maior a contribuição —, assegurando que o direito ao contraditório técnico não se transforme em privilégio de quem pode pagar. Diretrizes sobre auditoria algorítmica independente — registros, cadastros de alto risco e reporting periódico — oferecem desenho institucional para equilibrar sigilos industriais com escrutínio público (AI Now Institute, 2018).
A tensão entre ampla defesa e segredo industrial não se resolve por transparência ontológica do código-fonte, mas por acesso proporcional à prova. Propõe-se uma instância pericial acreditada, coordenada por autoridade competente e agências setoriais, com credenciamento público de especialistas, protocolos de análise sob confidencialidade e relatórios em duas camadas: uma peça técnica, sigilosa, voltada à verificação de conformidade, e um sumário público que satisfaça o dever de justificação perante a sociedade. Para blindar o arranjo contra captura, a governança deve prever mandatos fixos, regras de quarentena para dirigentes e participação vinculante de academia e sociedade civil na acreditação. O financiamento, por sua vez, combina dotação orçamentária mínima, contribuição setorial progressiva com franquia para pequenos agentes e reversão de parcela das multas à fiscalização contínua.
7. Filtros anti-abuso e gestão de carga
A abertura do contraditório técnico não pode converter-se em vetor de gaming institucional. Para acoplar garantias a filtros anti-abuso e gerir carga, a admissibilidade do recurso exige demonstração prima facie composta por dois elementos: (i) desvio estatístico relevante em relação à linha de base (variação anômala de alcance, taxa de reprovação, FPR/TPR por coorte) e (ii) correlação temporal robusta com evento técnico identificável — release de modelo, ajuste de threshold, alteração de regra — ou, alternativamente, indício concreto de vício procedimental (ausência de motivação técnica mínima, logs incompletos, quebra de SLA de resposta). Superado esse limiar, o caso é conhecido e segue para a sandbox probatória; frustrado o ônus preliminar, aplica-se rito sumário de indeferimento com justificativa padronizada e orientação para saneamento.
A racionalização do fluxo demanda, ainda, três travas. Primeiro, um regime de custas calibrado por risco e capacidade contributiva, com franquia para indivíduos e organizações da sociedade civil, e penalidades progressivas por litigância temerária ou uso estratégico de massa (astroturfing recursal), inclusive suspensão temporária de credenciais e blacklist de procuradores reincidentes. Segundo, rate-limits procedimentais com janela móvel por recorrente e por domínio, sem obstar a tutela urgente. Terceiro, um canal de fast track para casos com alto interesse público — eleições, serviços essenciais, publicidade estatal e jornalismo de inequívoco interesse público — deflagrado por gatilhos objetivos (impacto agregado, risco sistêmico, precedentes vinculantes), com time-box estrito para a perícia e rollback cautelar quando houver plausibilidade de dano irreversível. Dessa forma, preserva-se o acesso efetivo ao contraditório sem sacrificar a eficiência do sistema nem permitir sua captura por ruído oportunista.
Um desenho que leve a sério a contestabilidade precisa ser escalável. Requer-se, portanto, filtros de plausibilidade — desvio estatístico minimamente demonstrado, correlação temporal com mudanças de regra ou vício procedimental — para separar casos idiossincráticos de problemas sistêmicos. Reclamações seriadas e padronizáveis podem ser resolvidas por procedimentos simplificados, reservando-se a perícia aprofundada para controvérsias de maior impacto ou valor paradigmático. Quando o caso envolver interesse público qualificado, o rito deve ser preferencial, com prazos e prioridades compatíveis com o risco de dano coletivo.
8. Análise comparada e agenda institucional
A experiência comparada já oferece um mapa confiável — e falho nos pontos exatos em que precisamos ser mais precisos. O AI Act europeu institucionaliza a abordagem por risco e impõe, para sistemas de alto risco, uma cadeia de obrigações que coincide com o núcleo deste trabalho: governança de dados, documentação técnica, gestão de risco contínua, supervisão humana efetiva e avaliação de conformidade. Sem desenho tecnolegal, corre-se o risco de transitar de um Estado de Direito para um “Estado de Estatística”; a conformidade jurídica deve ser incorporada by design (Hildebrandt, 2020). A algorithmic regulation exige capacidades institucionais (auditoria, supervisão humana significativa, governança por risco) além de comandos genéricos de transparência (Yeung; Lodge, 2019).
O ganho dessa arquitetura é deslocar o debate do “qual algoritmo?” para o “quão perigoso é o seu uso?”, evitando tanto proibições cegas quanto uma permissividade indiferente ao dano. O PL 2.338/2023, por sua vez, aproxima o Brasil desse horizonte, positivando direito à explicação e revisão humana para aplicações de alto risco e criando uma moldura institucional coordenada pela ANPD. Em ambos os regimes, porém, o sucesso não está em declarar garantias, mas em torná-las auditáveis: supervisão humana que não seja carimbo; explicação que não seja panfleto; avaliação de conformidade que não seja checklist.
O horizonte comparado é nítido: tanto o AI Act europeu, com a abordagem por risco e deveres reforçados para sistemas de alto risco, quanto iniciativas como o PL 2.338/2023 convergem para um núcleo de governança que combina transparência útil, supervisão humana significativa e auditoria independente. A agenda brasileira pode avançar por três frentes sincronizadas.
Primeiro, fixar por norma infralegal o que conta como intervenção humana significativa, evitando validações meramente formais. Neste trabalho, considera-se “significativa” a intervenção humana que: (a) ocorra em ao menos duas etapas não consecutivas do fluxo decisório; (b) disponha de autoridade real para manter, modular ou reverter o resultado com base em elementos extra-modelo; e (c) venha acompanhada de fundamentação escrita quando mantida ou alterada a decisão automatizada. Interações meramente formais ou carimbos ex post não satisfazem esse padrão.
Segundo, institucionalizar protocolos de prova algorítmica no âmbito do CNJ, com núcleos técnicos de apoio aos tribunais.
Terceiro, alinhar a gestão de risco exigida de controladores a padrões reconhecidos internacionalmente — como o NIST AI Risk Management Framework e o Singapore Model AI Governance Framework — e com a adoção de artefatos padronizados de documentação — model cards, data sheets e system cards — como camadas públicas de explicabilidade e de prestação de contas, facilitando a auditoria cruzada e reduzindo custos de conformidade interjurisdicional. O objetivo não é copiar modelos, mas produzir interoperabilidade regulatória que facilite a fiscalização e reduza custos de conformidade.
9. Conclusão — entrega normativa
Onde decisões preditivas distribuem bens, chances e posições, o Estado de Direito só sobrevive se tornar auditável aquilo que hoje opera como intuição estatística encapsulada. O que chamamos de devido processo algorítmico não é uma ambição de transparência total, mas a exigência modesta e irrenunciável de reconstituir, reproduzir e contestar o resultado com base em evidências verificáveis. Isso vale para a suspensão e a desmonetização em plataformas, para o crédito e o seguro, para o emprego público e para serviços essenciais: sempre que a inferência estatística se converte em ato com alto impacto, transfere-se à entidade decisora o dever de explicar — e ao sistema jurídico o encargo de definir como essa explicação é suficiente.
A entrega normativa, portanto, é minimalista e operável. Ela fixa um núcleo comum, capaz de conviver com o segredo industrial, mas incompatível com a arbitrariedade probabilística. Em termos práticos:
-
Padrão probatório mínimo: explicabilidade sistêmica e do caso, contrafactuais locais e reprodutibilidade controlada, com campos obrigatórios de log e cadeia de custódia digital.
-
Regra de ônus e inversão dinâmica: o detentor do poder decisório suporta o ônus inicial; inverte-se automaticamente diante de pedido de motivação, indícios mínimos de viés/erro grosseiro ou em domínios de alto impacto irreversível.
-
Matriz setorial de erro/viés: limites e métricas por domínio (serviços essenciais/emprego público/liberdade de expressão, crédito/seguros, plataformas), com metas públicas, auditoria e “tolerância zero” a vieses protegidos.
-
Perícia independente com acesso proporcional: câmara técnica acreditada, sandbox probatório, relatórios em duas camadas (técnica sigilosa e sumário público) e financiamento progressivo que não onere indevidamente pequenos provedores.
-
Relatórios e gatilhos de recalibração/rollback: publicação periódica por coortes e categorias, gatilhos objetivos para recalibrar modelos e reversões seletivas quando houver degradação detectada.
Com esse feixe de obrigações—poucas, claras e verificáveis—o algoritmo deixa de ser um oráculo e passa a ser um ato jurídico tecnicamente assistido, submetido às mesmas virtudes republicanas que legitimam qualquer decisão que distribui o comum: publicidade, razão suficiente e possibilidade real de correção.
A substituição de regra por predição não suspende garantias: desloca-as para um plano onde medir, registrar, explicar, revisar e corrigir se tornam verbos constitucionais. Quando a decisão automatizada toca bens essenciais, o devido processo algorítmico deixa de ser retórica tecnológica e passa a ser método jurídico: padrão probatório exigente, ônus dinâmico, métricas setoriais de erro e viés, perícia independente e gatilhos de correção compõem o mínimo irredutível de uma arquitetura de escuta pública que pretenda ser legítima (Goodman; Flaxman, 2016; Citron, 2008; AI Now Institute, 2018; Rudin, 2019).
Referências
AI NOW INSTITUTE. AI Now Report 2018. New York: NYU, 2018.
BALKIN, Jack M. The Three Laws of Robotics in the Age of Big Data. Ohio State Law Journal, v. 78, n. 5, p. 1217–1241, 2017.
BAROCAS, Solon; SELBST, Andrew D. Big Data’s Disparate Impact. California Law Review, v. 104, n. 3, p. 671–732, 2016.
CITRON, Danielle Keats. Technological Due Process. Washington University Law Review, v. 85, n. 6, p. 1249–1313, 2008.
GOODMAN, Bryce; FLAXMAN, Seth. EU Regulations on Algorithmic Decision-Making and a “Right to Explanation”. AI Magazine, v. 38, n. 3, p. 50–57, 2016.
HILDEBRANDT, Mireille. Law for Computer Scientists and Other Folk. Oxford: Oxford University Press, 2020.
MILLER, Tim. Explanation in Artificial Intelligence: Insights from the Social Sciences. Artificial Intelligence, v. 267, p. 1–38, 2019.
NOBLE, Safiya Umoja. Algorithms of Oppression: How Search Engines Reinforce Racism. New York: NYU Press, 2018.
O’NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown, 2016.
PASQUALE, Frank. The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge, MA: Harvard University Press, 2015.
RUDIN, Cynthia. Stop Explaining Black Box Machine Learning Models for High-Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, v. 1, p. 206–215, 2019.
YEUNG, Karen; LODGE, Martin (org.). Algorithmic Regulation. Oxford: Oxford University Press, 2019.
