Pablo Zavala · Évaluation de sécurité IA · Ingénierie de recherche

Jugement par algorithme : quand l'équité agrégée masque le préjudice de sous-groupe

Un exercice de master sur des données synthétiques de détention provisoire montre des taux d'erreur disparates selon la race que les résumés d'équité agrégée manquent, un mode de défaillance qu'une revue de sécurité devrait attraper et qu'un registre de décision auditable rendrait visible.

novembre 11, 2024 · 6 min

Deux taux d'erreur racontent la véritable histoire d'un jugement automatisé. Mon équipe de master a mené un exercice synthétique de détention provisoire sur trois jeux de données de comté construits, et l'exercice a rapporté les deux taux tirant en sens opposés selon la race : pour les prévenus noirs, un taux de faux positifs plus de cinq fois celui des prévenus blancs, et pour les prévenus blancs, un taux de faux négatifs plus de quatre fois celui des prévenus noirs. Une seule moyenne d'équité aurait masqué les deux.

La distribution inégale de l'erreur, plutôt qu'un mauvais chiffre affiché, marque le souci d'auditabilité qui devrait inquiéter quiconque fait confiance à une décision automatisée. Un système peut atteindre une cible globale et pourtant orienter ses erreurs vers les personnes les moins à même de les contester.

Un exercice pédagogique, pas un audit de terrain

L'honnêteté sur les preuves passe d'abord. Mon équipe, dans le cadre d'un cours d'IA responsable, a examiné trois jeux de données synthétiques plutôt que des dossiers d'une juridiction réelle. Les jeux portaient des noms de comté comme étiquettes tout en étant remplis de valeurs construites : le jeu Claiborne penchait majoritairement vers une population noire, le jeu Copiah majoritairement blanche, et le jeu Warren se répartissait à peu près également, et les trois concordaient étroitement sur la taille de population, le genre et l'éducation. Les données synthétiques soutiennent une affirmation pédagogique sur un mécanisme plutôt qu'un audit de terrain d'un outil déployé. Chaque chiffre ci-dessous rapporte une sortie de cet exercice synthétique conçu pour exposer un motif, donc je lis les résultats comme une illustration de la façon dont l'erreur se distribue plutôt que comme une mesure d'un lieu ou d'un fournisseur réel. Les supports de cours, y compris les trois jeux de données synthétiques et l'essai réflexif de groupe, restent derrière le cours d'IA responsable et demeurent disponibles sur demande.

Les scores variaient selon la race tandis que le genre restait stable

La disparité a commencé dans les scores eux-mêmes. Dans les trois jeux de données, les prévenus noirs ont reçu des scores de risque plus élevés que les prévenus blancs et d'autres groupes, tandis que les prévenus hommes et femmes ont reçu des scores très proches. Le genre se comporte comme un témoin dans cet exercice : le même pipeline qui traitait hommes et femmes de la même façon a produit un écart racial constant. Un écart qui survit à travers des jeux de données aux compositions démographiques différentes reste cohérent avec un mécanisme du processus de notation plutôt qu'avec une seule population.

Les décisions étiquetées ont déplacé le seuil

Les étiquettes de décision synthétiques de l'exercice ont élargi l'écart au lieu de le refermer. Parmi les dossiers synthétiques auxquels la mise en liberté sous caution a été refusée, les prévenus noirs formaient une large majorité ; parmi les libérés, c'étaient les prévenus blancs. À un score de risque synthétique identique de 5 ou 6, les décisions étiquetées refusaient la caution aux prévenus noirs tout en libérant les prévenus blancs, de sorte que la variable de seuil rapportée par l'exercice se situait à 4 pour les prévenus noirs et à 6 pour les prévenus blancs. Un prévenu noir que le modèle notait moins risqué qu'un prévenu blanc satisfaisait tout de même à un seuil étiqueté plus strict. Les étiquettes synthétiques encodent un biais de décision que le score seul sous-estimerait ; l'exercice a fourni un chiffre que les décisions étiquetées ont ensuite repondéré.

Les taux d'erreur exposent le mode de défaillance de sous-groupe

L'écart de seuil s'est converti directement en taux d'erreur divergents, et les taux d'erreur portent la leçon de sécurité. En définissant un faux positif comme une détention sans récidive et un faux négatif comme une libération suivie de récidive, l'exercice synthétique a rapporté pour les prévenus noirs un taux de faux positifs plus de cinq fois celui des blancs, et pour les blancs un taux de faux négatifs plus de quatre fois celui des noirs. Chaque groupe synthétique portait un type d'erreur différent : la détention injustifiée se concentrait sur les prévenus noirs, et le risque manqué se concentrait sur les prévenus blancs. Un modèle réglé sur un unique objectif agrégé peut afficher un score global respectable tout en distribuant ses deux modes de défaillance de manière aussi inégale, et c'est pourquoi les taux d'erreur par sous-groupe, plutôt qu'une moyenne globale, ont leur place au cœur de toute revue de sécurité.

Une seule métrique ne suffit pas à certifier l'équité

Deux définitions de l'équité sont entrées en collision, et les deux résistent à tenir ensemble. La parité démographique exige des taux de résultat égaux entre les groupes ; l'égalité des chances exige des taux d'erreur égaux, surtout des taux de faux négatifs égaux, parmi des personnes qui se comportent de la même façon. L'exercice a échoué aux deux, et corriger l'une jouait contre l'autre. Imposer la parité démographique aurait exigé de libérer des prévenus noirs mieux notés tout en détenant des prévenus blancs moins bien notés, brisant l'égalité des chances ; imposer l'égalité des chances aurait exigé de repondérer les scores eux-mêmes, qui excluent la race explicitement mais laissent des variables de substitution comme le quartier, le revenu et l'histoire familiale l'encoder discrètement.

La littérature plus large formalise l'impasse. Kleinberg, Mullainathan et Raghavan et Chouldechova montrent que, lorsque les taux de base diffèrent, la calibration et l'égalité des taux d'erreur s'opposent, et Hardt, Price et Srebro définissent la cible d'égalité des chances contre laquelle ce compromis tire. L'analyse de COMPAS par ProPublica a mis le même conflit sous les yeux du public. La calibration en agrégé, l'assurance qu'un score signifie la même chose en moyenne, ne suffit pas à elle seule à certifier qu'un sous-groupe échappe à un préjudice concentré.

Des étiquettes biaisées corrompent la vérité terrain

La vérité terrain réelle en détention provisoire mérite sa propre suspicion. Dans les systèmes réels de détention provisoire, les étiquettes de récidive reposent sur des données d'arrestation, et les données d'arrestation reflètent qui est surveillé autant que qui enfreint la loi. Parce que le maintien de l'ordre pèse de façon inégale, un prévenu noir fait face à une probabilité plus élevée d'être arrêté de nouveau indépendamment de la conduite sous-jacente, de sorte que les étiquettes fondées sur les arrestations incrustent un biais d'application avant qu'un modèle ne les lise. Un modèle entraîné sur de telles étiquettes apprend à reproduire le schéma d'application puis le blanchit en prédiction. Le seul ajustement de seuil ne répare pas une cible corrompue ; le correctif doit atteindre la mesure, et pas seulement le seuil. L'exercice synthétique ici contourne ce biais, puisque ses étiquettes sont construites, donc le point tient comme contexte externe qu'un déploiement réel affronterait.

Un registre de décision rendrait l'écart visible

L'exercice pointe vers la question de conception sur laquelle je travaille ailleurs. Dans ce scénario, le seuil plus strict pour les prévenus noirs restait implicite, enfoui dans les résultats plutôt qu'énoncé comme une règle qu'une personne pourrait contester. Un registre de décision auditable le rendrait visible : le score, le seuil appliqué, le taux d'erreur de sous-groupe recalculé et toute objection soulevée voyageraient avec l'affaire au lieu de se dissoudre dans une issue. Mon prototype Tribunal poursuit exactement cette discipline, en enregistrant la prémisse, la règle et la dissidence pour qu'un réviseur puisse contester un jugement après coup. Un registre ne corrige pas l'injustice d'une décision biaisée ; il rend le biais lisible, ce qui est la condition préalable pour le contester.

Limites

  • Le jeu de données est synthétique et l'analyse relève d'un travail de cours ; les résultats illustrent un mécanisme et ne vont pas jusqu'à certifier un système déployé.
  • Les constats décrivent comment l'erreur et le seuil interagissent selon la race dans un scénario construit, indépendamment de toute affirmation sur une juridiction, un fournisseur ou un outil nommé.
  • L'impossibilité d'équité découle de taux de base différents et d'une mesure biaisée, plutôt que d'un verdict selon lequel un remède unique serait correct.

Sources