Resumo: O artigo demonstra que decisões automatizadas de alto impacto — suspensões e desmonetizações em plataformas, crédito, emprego público e serviços essenciais — só são constitucionais se incorporarem um devido processo algorítmico que torne a predição auditável e contestável. Propõe-se uma matriz probatória tripartida: (i) explicabilidade sistêmica (finalidade, variáveis, métrica e cobertura dos dados); (ii) explicabilidade do caso (identificação do traço decisivo por famílias de sinais/SHAP e contrafactuais locais); (iii) reprodutibilidade controlada em sandbox. Define-se regra de ônus da explicação com inversão dinâmica em contextos de assimetria informacional, indícios de viés/erro ou alto impacto irreversível. Para vedar a arbitrariedade probabilística, apresenta-se matriz setorial de limites de erro/viés (serviços essenciais, crédito, plataformas) com gatilhos de recalibração e rollback seletivo. Propõe-se ainda perícia independente com acesso proporcional a logs e evidências técnicas, sob salvaguardas de segredo industrial. O modelo dialoga com LGPD (art. 20), CPC (art. 373), CDC (art. 6º, VIII), o AI Act/UE e o PL 2.338/2023, oferecendo uma entrega normativa mínima e uma agenda institucional para CNJ, ANPD e agências setoriais.
Palavras-chave: devido processo algorítmico; ônus da prova; explicabilidade (XAI); justiça algorítmica; auditoria de IA.
1. Introdução — do ato opaco ao ato auditável
A vida social já se decide por intermédio de modelos: concessão de crédito, filtragem de currículos, distribuição de atenção nas plataformas, triagem para benefícios e serviços essenciais. Entre a pretensão de neutralidade e a competição por eficiência, decisões automatizadas passaram a mediar bens e posições, reordenando silenciosamente oportunidades e ônus. O problema não é a presença do algoritmo, mas sua opacidade: sem condições mínimas de reconstituir o caminho que levou a um resultado — por que este conteúdo foi rebaixado, este pedido negado, este candidato preterido — o contraditório material torna-se impossível e o devido processo, uma liturgia vazia. Como diagnosticou a sociedade da caixa-preta, desloca-se o poder decisório para camadas opacas em que segredo comercial e complexidade técnica corroem a responsabilização; nosso objetivo é converter esse ato opaco em ato auditável, não por transparência de código, mas por rastreabilidade verificável (Pasquale, 2015).
“Explicação” aqui não é fetiche de código-fonte nem promessa de transparência ontológica. É capacidade institucional de reconstituir, reproduzir e contestar a decisão: identificar quais sinais pesaram, qual versão de modelo operou, que regra foi acionada, se o mesmo perfil produziria o mesmo desfecho em ambiente controlado, e por quais vias o afetado pode buscar correção. Trata-se de deslocar a prova do plano retórico para o plano operacional, alinhando governança técnica e garantias constitucionais.
A tese é simples e exigente: sempre que uma organização substitui regra por predição em domínios de alto impacto, emerge um dever de devido processo algorítmico, composto por contraditório técnico efetivo e um padrão probatório compatível com a assimetria informacional. Não basta “informar que houve automação”; é preciso tornar a decisão auditável ex post e governável ex ante — com logs, versionamento, métricas de erro e equidade, instância recursal tecnicamente qualificada e salvaguardas proporcionais ao risco.
O artigo desenvolve esse programa em quatro campos onde os efeitos são especialmente sensíveis: curadoria de conteúdo e monetização em plataformas; análise e preço de crédito; seleção e progressão no emprego público; e alocação/condicionamento de serviços essenciais. Em cada um, propõe-se uma matriz probatória em três níveis — traço decisivo, reprodutibilidade e erro/viés aceitável — e critérios para a inversão dinâmica do ônus da prova. O objetivo não é travar a inovação, mas retirar a arbitrariedade probabilística de trás da cortina, convertendo o ato opaco em ato auditável.
Para fins deste trabalho, “alto impacto” designa decisões automatizadas que (i) afetam de modo direto direitos fundamentais ou posições jurídicas relevantes; (ii) podem produzir danos irreversíveis ou de difícil reparação; ou (iii) geram efeitos em cadeia sobre oportunidades vitais — como renda, educação, moradia, participação cívica e acesso a serviços essenciais. Sempre que a organização substitui regra por predição sob essas condições, surge um dever reforçado de justificabilidade técnica e de contraditório efetivo.
Neste trabalho, “explicação” não é fetiche de código-fonte, mas capacidade institucional de reconstituir, reproduzir e contestar decisões automatizadas de alto impacto. O objetivo é converter ato opaco em ato auditável sem violar segredos industriais, por meio de rastreabilidade verificável e contraditório técnico efetivo (Pasquale, 2015; Citron, 2008; Balkin, 2017).
2. Fundamentos constitucionais e legais
A Constituição de 1988 fornece o léxico normativo do devido processo algorítmico. A dignidade da pessoa humana (art. 1º, III) e os objetivos de repúdio a discriminações (art. 3º, IV) orientam o desenho de sistemas que não podem reproduzir, por engenharia estatística, assimetrias que o texto constitucional busca superar. O caput do art. 5º fixa a isonomia como regra de jogo; os incisos LIV e LV exigem processo justo, com possibilidade real de conhecer as razões e de influir na decisão. Quando a decisão é mediada por modelos preditivos, esses comandos não desaparecem: deslocam-se para a exigência de condições técnicas mínimas de reconstituição, contraditório e correção de rumo.
A LGPD adensa esse núcleo. O art. 20. assegura revisão de decisões baseadas em tratamento automatizado que afetem interesses do titular e garante acesso a “informações claras e adequadas” sobre critérios e procedimentos. “Clareza” aqui não se confunde com divulgação de código-fonte; significa inteligibilidade material: qual versão do sistema operou, que sinais foram determinantes, qual política foi acionada e como reproduzir, em ambiente controlado, o mesmo desfecho para verificar consistência e erro. Sem isso, o direito de revisão converte-se em ritual sem objeto.
A formulação de technological due process antecipa transparência procedimental, oportunidade de resposta e revisão significativa sempre que sistemas automatizados afetem direitos (Citron, 2008), enquanto a chave da governança algorítmica desloca o foco para deveres públicos mínimos de atores privados que administram infraestruturas de visibilidade (Balkin, 2017). No plano infraconstitucional comparado, o “direito à explicação” discutido a partir do art. 22. do GDPR informa a leitura do art. 20. da LGPD: não se exige exibir o modelo, mas fornecer lógica decisória verificável sob salvaguardas in camera (Goodman; Flaxman, 2016).
No plano processual, o CPC autoriza a distribuição dinâmica do ônus da prova (art. 373, §1º), permitindo ao juiz alocá-lo a quem detém melhores condições técnicas de produzi-la. Em relações de consumo — que atravessam crédito, plataformas e parte dos serviços essenciais — o CDC (art. 6º, VIII) legitima a inversão do ônus quando houver verossimilhança e hipossuficiência, típicas em cenários de assimetria informacional radical. Em conjunto, essas chaves processuais evitam que o indivíduo tenha de provar o que não pode ver, deslocando para o controlador a obrigação de demonstrar correção, não discriminação e margem de erro aceitável.
Resta a tensão com o segredo industrial. Ela é real, mas não intransponível. O que se exige não é abrir o modelo ao público, e sim tornar verificável a lógica decisória sob salvaguardas: documentação técnica mínima, registro de versões, logs de decisão, relatórios de explicabilidade e testes de reprodutibilidade acessíveis, quando necessário, a autoridade ou perito independente em regime “in camera”, com confidencialidade, amostragem controlada e trilhas de auditoria. Esse bisturi garantista preserva a vantagem competitiva sem transformar o segredo em escudo para arbitrariedade probabilística.
Por fim, a proporcionalidade atua como metanorma. Quanto maior o impacto do domínio — liberdade de expressão, acesso a renda, elegibilidade a serviços essenciais — mais denso deve ser o pacote de justificabilidade técnica, revisão humana significativa e auditoria independente. O constitucional e o infraconstitucional, lidos em sistema, convergem para a mesma tese: substituir regra por predição não suspende direitos; apenas desloca o seu modo de tutela, do ato textual para a governança auditável do cálculo.
A LGPD (art. 20) projeta um direito à explicação útil e à revisão significativa, compatível com salvaguardas de sigilo via acesso in camera por autoridade/perícia. No plano probatório, CPC art. 373, §1º (distribuição dinâmica) e CDC art. 6º, VIII (inversão) corrigem a assimetria informacional típica de sistemas algorítmicos (Goodman; Flaxman, 2016; Citron, 2008).
3. Ônus da explicação e inversão dinâmica
A regra de partida é simples e consequente: quem decide suporta o primeiro fardo de explicar. No ecossistema algorítmico, isso significa que a plataforma, o banco, o órgão público — o agente que detém dados, arquitetura e discricionariedade técnica — deve entregar, de saída, a motivação técnica mínima que permita compreender por que aquele resultado foi produzido. Não é concessão graciosa, é ônus estrutural: sem explicabilidade útil, não há contraditório material nem controle jurisdicional efetivo.
Esse ônus se adensa e se desloca automaticamente em três situações recorrentes. Primeiro, quando o afetado solicita motivação técnica: o pedido aciona dever de apresentar a lógica operativa do caso concreto (versão do modelo, fatores determinantes, regra/política acionada), e não um sumário publicitário do sistema. Segundo, diante de indícios mínimos de viés ou erro grosseiro — padrões anômalos, inconsistências replicáveis, assimetrias estatisticamente sugestivas —, cessa a suficiência de negativas genéricas e nasce o dever de prova positiva de robustez. Terceiro, em domínios de alto impacto potencialmente irreversível — suspensão/desmonetização que afeta renda, negativa de crédito que bloqueia liquidez, exclusão de concurso ou de serviço essencial —, a inversão é de regime: a parte controladora passa a justificar preventivamente a correção e a equidade do procedimento, sob pena de invalidação.
O efeito não é meramente retórico. Com a inversão dinâmica, desloca-se a prova do “não discriminei” para o “eis por que o meu sistema, tal como operou aqui, é acurado o bastante e não gerou impacto desproporcional”. Isso exige documentação rastreável (versões e parâmetros em vigor), relatórios de explicabilidade no caso concreto (importâncias agregadas por grupos de sinais, contrafactuais locais comparáveis), evidências de reprodutibilidade (resultado consistente em ambiente controlado) e métricas de erro/viés alinhadas ao risco do domínio. Em suma, substituiu-se a zona de conforto da negativa abstrata por um dever de demonstração tecnicamente auditável, compatível com a assimetria informacional e com a gravidade das posições em jogo.
A assimetria informacional que marca as decisões automatizadas exige deslocar o centro de gravidade do processo probatório. Como regra, quem detém o poder decisório — e, portanto, o modelo, os dados e a trilha de execução — suporta o ônus inicial de explicar o procedimento e o resultado. Esse ônus não se esgota em negativas genéricas de discriminação: requer uma justificação tecnicamente verificável do caminho que conduziu ao desfecho. Em três situações, o sistema jurídico deve operar uma inversão dinâmica automática: quando o afetado requer motivação técnica para uma decisão adversa; quando há indícios mínimos de viés ou erro grosseiro; e quando a decisão incide sobre domínios de alto impacto e difícil reversão. Nesses casos, transfere-se à entidade controladora o dever de prova positiva sobre a robustez do processo e a ausência de discriminação material, em convergência com o desenho do direito à explicação e à revisão significativo-efetiva (Citron, 2008; Goodman; Flaxman, 2016).
4. Padrão probatório mínimo e “traço decisivo”
O padrão probatório mínimo é triádico e cumulativo. Ele começa pela explicabilidade sistêmica: a parte controladora deve documentar a finalidade do modelo, o espaço de variáveis autorizado (quais famílias de sinais podem influir e sob que restrições), a métrica-alvo de otimização (precisão, recall, F1, AUC, custo esperado, ou combinação ponderada) e a cobertura/limitações dos dados de treino, inclusive lacunas de representatividade e procedimentos de saneamento. Sem esse pano de fundo, o caso concreto fica irremediavelmente deslocado do seu contexto técnico, e a avaliação jurídica deriva para suposições.
A segunda perna é a explicabilidade do caso. Aqui não basta uma nota genérica: exige-se identificação do vetor dominante da decisão por meio de importância agregada por famílias de sinais — por exemplo, feature-group importance ou valores de Shapley agregados por grupos — capaz de mostrar quais blocos informacionais pesaram, e em que direção, para aquele resultado específico. Complementa-se com contrafactuais locais comparáveis que respondam à pergunta contrastiva essencial: por que A sofreu o resultado enquanto B, de perfil análogo, não? Esses contrafactuais devem ser tecnicamente válidos (respeitando o suporte dos dados) e juridicamente úteis (apontando condições de reversão ou correção).
A terceira perna é a reprodutibilidade controlada. A decisão impugnada deve ser reexecutável, em ambiente de sandbox, com a versão do modelo efetivamente usada no tempo do ato, admitindo-se uma tolerância de variação previamente definida e adequada ao domínio (p. ex., flutuação estocástica inerente a modelos com aleatoriedade). A consistência entre o rerun e o resultado original é a âncora empírica que separa a explicação de uma mera racionalização pós-hoc.
Esse padrão probatório exige, por design, campos obrigatórios de log, sem os quais a auditabilidade colapsa. São eles: identificador e hash do modelo e de seus artefatos; timestamp da decisão; thresholds aplicados; regras e flags efetivamente acionadas; vetor de atributos do caso em formato mascarado/pseudonimizado; scores brutos e pós-processados (incluídos calibradores e heurísticas de negócio); vínculo à política/regra invocada; e, quando houver, ID do operador humano que interveio em etapa relevante. A ausência injustificada de qualquer desses elementos gera presunção relativa de arbitrariedade, admitindo prova em contrário, com ônus reforçado para o controlador de suprir a lacuna por meio de evidência técnica funcionalmente equivalente. Em síntese, “traço decisivo” aqui não é transparência ontológica do algoritmo, mas a capacidade institucional de reconstituir, explicar e reproduzir a decisão em nível suficiente para controle externo e correção de rumo.
Distingue-se, ainda, entre (i) explicação inteligível ao titular, em linguagem natural e orientada à ação — principais fatores que pesaram e condições lícitas de reversão em ciclos futuros —, e (ii) motivação técnica para autoridade/perícia, com importâncias por famílias de sinais, contrafactuais válidos e reprodutibilidade controlada. A primeira assegura compreensão e contestabilidade; a segunda, verificabilidade probatória.
Para que o contraditório seja substancial, a explicação não pode reduzir-se a slogans corporativos. Exige-se, primeiro, uma inteligibilidade sistêmica: a finalidade do sistema, o espaço de variáveis autorizado e a métrica otimizada devem ser descritos de modo a permitir controle por terceiros. Em seguida, requer-se a reconstituição do caso concreto: a plataforma ou instituição precisa mostrar, com base em documentação e registros, quais famílias de sinais pesaram decisivamente no resultado e por que A sofreu o efeito enquanto B, de perfil análogo, não. Técnicas de explicação local — como importância agregada por grupos de features ou valores de Shapley — são aceitáveis como meios, desde que não substituam o dever de demonstrar, com disciplina, o vetor dominante da decisão e as alternativas de correção disponíveis (Miller, 2019). Em decisões potencialmente irreversíveis, vigora uma presunção relativa pró-modelos intrinsecamente interpretáveis; o uso de caixas-pretas somente se justifica quando demonstrado que não há alternativa interpretable com desempenho comparável, acrescida de camadas de explicação pós-hoc robustas (Rudin, 2019). Por fim, a prova deve ser reprodutível: a entidade apresenta registros técnicos suficientes para que um perito ou autoridade refaça o caminho decisório sob condições controladas, sem acesso indevido a segredos industriais. A ausência desses elementos — finalidade clara, reconstituição do caso, reprodutibilidade — autoriza presunção relativa de arbitrariedade.
O padrão de explicabilidade deve ser útil ao humano: boas explicações são contrastivas (“por que A, e não B?”), seletivas e orientadas ao destinatário, o que justifica contrafactuais locais e importância por famílias de sinais (Miller, 2019). Reconhecem-se os limites de explicações pós-hoc em alto impacto; quando viável, deve-se preferir modelos intrinsecamente interpretáveis, mantendo SHAP/LIME como camadas auxiliares (Rudin, 2019). Nos domínios de alto impacto potencialmente irreversível, vigora presunção relativa pró-modelos intrinsecamente interpretáveis; o uso de caixas-pretas exige demonstração de inexistência de alternativa interpretável com desempenho comparável e camadas pós-hoc robustas.
5. Matriz setorial de erro/viés (vedação da arbitrariedade probabilística)
A vedação da arbitrariedade probabilística reclama uma matriz setorial de erro e viés calibrada ao risco de cada domínio. Ela repousa em dois alicerces: evidência de disparate impact em decisões automatizadas (Barocas; Selbst, 2016) e documentação de danos estruturais causados por curadorias e predições enviesadas (Noble, 2018; O’neil, 2016). Disso decorrem métricas por domínio (inclusive 80% rule), controle de FPR/FN por coortes e gatilhos formais de recalibração. Em serviços essenciais, emprego público e decisões que afetem diretamente a liberdade de expressão com efeito cívico, o parâmetro é estrito: a taxa de falsos positivos FPR ≤ 1–2%, com presunção absoluta de discriminação ilícita quando identificados vieses associados a atributos legalmente protegidos — mensurados, por exemplo, por disparate impact acima do limiar da “regra dos 80%” — cabendo ao controlador demonstrar necessidade empresarial incontornável do preditor e medidas proporcionais de mitigação. Nesses contextos, não basta remediação posterior: impõe-se revisão humana significativa antes da execução da medida adversa, sob pena de deslocar o custo do erro para o indivíduo em situações de dano potencialmente irreversível.
Em crédito e seguros, a exigência centra-se em transparência mensurável e mitigação ativa. O controlador deve publicar, de forma regular e auditável, precisão, recall e F1 desagregados por coortes relevantes (p. ex., faixa etária, região, histórico financeiro), permitindo escrutínio público e comparação temporal. A ocorrência de disparate impact acima do limiar de 0,8 (regra dos 80%) aciona gatilho obrigatório de recalibração, com plano de correção documentado e verificável. A cada decisão negativa, o titular tem direito a explicação individual acionável — não apenas “como” o modelo decidiu, mas “o que pode ser feito” para alterar o resultado em ciclos futuros, dentro de parâmetros legítimos.
Para plataformas — especialmente em suspensão de contas e desmonetização —, a matriz combina metas de erro e governança de ciclo de vida do modelo. Devem ser definidas e publicadas metas de erro por categoria de conteúdo, idioma e região, com séries históricas que permitam detectar deriva (model drift) e degradação. Auditorias independentes periódicas verificam aderência a essas metas e a neutralidade política/cultural das decisões. Detectada degradação material, impõe-se rollback seletivo para a última versão estável, acompanhada de comunicação pública do incidente, restauração expedita de casos afetados e janela de observabilidade reforçada (canários, shadow testing e A/B de segurança) antes de novo roll-out. O rollback poderá ser acionado (i) por relatório de auditoria independente, (ii) por séries históricas que evidenciem violação persistente das metas publicadas de erro/viés ou deriva relevante, ou (iii) por decisão motivada de agência setorial ou do Judiciário em tutela de urgência, com cronograma público de restauração e de nova validação em ambiente controlado. Em todos os domínios, a regra de encerramento é comum: meta anunciada vira obrigação verificável; violada sem justificativa técnica robusta, presume-se arbitrariedade e ativa-se o regime de correção com prioridade probatória reforçada.
A justiça de um sistema automatizado não se aferra apenas por sua acurácia média, mas pelos seus erros distribuídos socialmente. Em serviços essenciais, emprego público e liberdade de expressão com efeito cívico, a taxa de falsos positivos deve permanecer excepcionalmente baixa e sempre calibrada contra o custo social dos falsos negativos. Onde emergirem evidências de disparate impact entre grupos protegidos — por exemplo, desempenho consistentemente pior para mulheres ou pessoas negras em triagens de vagas — opera-se uma presunção de ilicitude: caberá ao controlador demonstrar necessidade empresarial incontornável do preditor e a adoção de medidas de mitigação proporcionais (Barocas; Selbst, 2016; Noble, 2018; O’Neil, 2016). Em crédito e seguros, impõe-se publicidade regular de métricas de desempenho e de equidade por coortes relevantes, com gatilhos claros de recalibração quando padrões desiguais persistirem. Em plataformas, metas transparentes de erro por categoria, idioma e região, associadas a auditorias periódicas, devem conviver com mecanismos de correção ágil — inclusive reversões seletivas quando uma atualização degradar a qualidade decisória.
