Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa

Julgamento por algoritmo: quando a equidade agregada esconde o dano a subgrupos

Um exercício de pós-graduação sobre dados sintéticos de prisão preventiva mostra taxas de erro díspares por raça que resumos de equidade agregada não captam, um modo de falha que uma revisão de segurança deveria detectar e que um registro de decisão auditável tornaria visível.

novembro 11, 2024 · 6 min

Duas taxas de erro contam a verdadeira história de um julgamento automatizado. Minha equipe de pós-graduação executou um exercício sintético de prisão preventiva sobre três conjuntos de dados de condado construídos, e o exercício reportou as duas taxas puxando em direções opostas conforme a raça: para réus negros, uma taxa de falsos positivos mais de cinco vezes a dos réus brancos, e para réus brancos, uma taxa de falsos negativos mais de quatro vezes a dos réus negros. Uma única média de equidade teria escondido ambas.

A distribuição desigual do erro, mais do que um número de manchete ruim, marca a preocupação de auditabilidade que deveria inquietar qualquer pessoa que confia em uma decisão automatizada. Um sistema pode atingir uma meta global e ainda assim direcionar seus erros para as pessoas menos capazes de contestá-los.

Um exercício didático, não uma auditoria de campo

A honestidade sobre a evidência vem primeiro. Minha equipe, no âmbito de um curso de IA responsável, examinou três conjuntos de dados sintéticos em vez de registros de uma jurisdição real. Os conjuntos traziam nomes de condado como rótulos enquanto eram preenchidos com valores construídos: o conjunto Claiborne pendia predominantemente para população negra, o conjunto Copiah predominantemente branca, e o conjunto Warren se dividia de forma aproximadamente equilibrada, e os três coincidiam de perto em tamanho de população, gênero e educação. Os dados sintéticos sustentam uma afirmação didática sobre mecanismo, não uma auditoria de campo de qualquer ferramenta implantada. Cada número abaixo reporta uma saída desse exercício sintético construído para expor um padrão, então leio os resultados como uma ilustração de como o erro se distribui, não como uma medição de qualquer lugar ou fornecedor real. Os materiais do curso, incluindo os três conjuntos de dados sintéticos e o ensaio reflexivo do grupo, permanecem por trás do curso de IA responsável e continuam disponíveis mediante solicitação.

As pontuações variaram por raça enquanto o gênero permaneceu estável

A disparidade começou nas próprias pontuações. Nos três conjuntos de dados, os réus negros receberam pontuações de risco mais altas do que réus brancos e de outros grupos, enquanto réus homens e mulheres receberam pontuações muito próximas. O gênero se comporta como um controle neste exercício: o mesmo pipeline que tratou homens e mulheres de forma igual produziu uma lacuna racial consistente. Uma lacuna que sobrevive em conjuntos de dados com composições demográficas diferentes permanece consistente com um mecanismo do processo de pontuação, e não com uma única população.

As decisões rotuladas moveram o limiar

Os rótulos sintéticos de decisão do exercício ampliaram a lacuna em vez de fechá-la. Entre os registros sintéticos que tiveram a fiança negada, os réus negros formavam ampla maioria; entre os liberados, eram os réus brancos. Com uma pontuação de risco sintética idêntica de 5 ou 6, as decisões rotuladas negavam fiança aos réus negros enquanto liberavam os brancos, de modo que a variável de limiar reportada pelo exercício ficava em 4 para réus negros e em 6 para réus brancos. Um réu negro que o modelo pontuou como menos arriscado do que um réu branco ainda assim atendia a um corte rotulado mais rígido. Os rótulos sintéticos codificam um viés de decisão que a pontuação sozinha subestimaria; o exercício forneceu um número que as decisões rotuladas depois reponderaram.

As taxas de erro expõem o modo de falha por subgrupo

A lacuna de limiar se converteu diretamente em taxas de erro divergentes, e as taxas de erro carregam a lição de segurança. Definindo um falso positivo como detenção sem reincidência e um falso negativo como liberação seguida de reincidência, o exercício sintético reportou para réus negros uma taxa de falsos positivos mais de cinco vezes a dos brancos, e para brancos uma taxa de falsos negativos mais de quatro vezes a dos negros. Cada grupo sintético carregava um tipo diferente de erro: a detenção indevida se concentrava nos réus negros, e o risco não detectado se concentrava nos brancos. Um modelo ajustado a um único objetivo agregado pode exibir uma pontuação geral respeitável enquanto distribui seus dois modos de falha de forma tão desigual, e é por isso que as taxas de erro por subgrupo, em vez de uma média global, pertencem ao centro de qualquer revisão de segurança.

Uma única métrica não basta para certificar equidade

Duas definições de equidade colidiram, e as duas resistem a se sustentar juntas. A paridade demográfica pede taxas de resultado iguais entre grupos; a igualdade de oportunidades pede taxas de erro iguais, sobretudo taxas de falsos negativos iguais, entre pessoas que se comportam de forma semelhante. O exercício falhou em ambas, e corrigir uma trabalhava contra a outra. Forçar a paridade demográfica teria exigido liberar réus negros com pontuações mais altas enquanto se detinham réus brancos com pontuações mais baixas, quebrando a igualdade de oportunidades; forçar a igualdade de oportunidades teria exigido reponderar as próprias pontuações, que excluem a raça explicitamente mas deixam variáveis substitutas como bairro, renda e histórico familiar codificá-la em silêncio.

A literatura mais ampla formaliza o dilema. Kleinberg, Mullainathan e Raghavan e Chouldechova mostram que, quando as taxas de base diferem, a calibração e a igualdade de taxas de erro se opõem, e Hardt, Price e Srebro definem o alvo de igualdade de oportunidades contra o qual esse compromisso tensiona. A análise do COMPAS pela ProPublica colocou o mesmo conflito diante do público. A calibração em agregado, a garantia de que uma pontuação significa a mesma coisa em média, não basta por si só para certificar que um subgrupo escape de um dano concentrado.

Rótulos enviesados corrompem a verdade de referência

A verdade de referência real em prisão preventiva merece sua própria desconfiança. Em sistemas reais de prisão preventiva, os rótulos de reincidência se apoiam em dados de prisão, e os dados de prisão refletem quem é policiado tanto quanto quem infringe a lei. Como o policiamento recai de forma desigual, um réu negro enfrenta uma probabilidade maior de ser preso novamente independentemente da conduta subjacente, de modo que rótulos baseados em prisões incorporam viés de aplicação antes de qualquer modelo lê-los. Um modelo treinado com tais rótulos aprende a reproduzir o padrão de aplicação e depois o lava como previsão. O ajuste de limiar sozinho não conserta um alvo corrompido; a correção precisa alcançar a medição, e não apenas o corte. O exercício sintético aqui contorna esse viés, já que seus rótulos são construídos, então o ponto se sustenta como contexto externo que uma implantação real enfrentaria.

Um registro de decisão tornaria a lacuna visível

O exercício aponta para a questão de desenho em que trabalho em outros lugares. Neste cenário, o corte mais rígido para réus negros permaneceu implícito, enterrado nos resultados em vez de enunciado como uma regra que uma pessoa pudesse contestar. Um registro de decisão auditável o tornaria visível: a pontuação, o limiar aplicado, a taxa de erro por subgrupo recalculada e qualquer objeção levantada viajariam com o caso em vez de se dissolver em uma resolução. Meu protótipo Tribunal persegue exatamente essa disciplina, registrando a premissa, a regra e a divergência para que um revisor possa contestar um julgamento depois do fato. Um registro não corrige a injustiça de uma decisão enviesada; ele torna o viés legível, o que é a precondição para contestá-lo.

Limites

  • O conjunto de dados é sintético e a análise é trabalho de curso; os resultados ilustram um mecanismo e não chegam a certificar qualquer sistema implantado.
  • Os achados descrevem como o erro e o limiar interagem por raça em um cenário construído, à parte de qualquer afirmação sobre uma jurisdição, um fornecedor ou uma ferramenta nomeada.
  • A impossibilidade de equidade decorre de taxas de base diferentes e de medição enviesada, e não de um veredicto de que algum remédio único seja o correto.

Fontes