Pablo Zavala · Evaluación de seguridad de IA · Ingeniería de investigación

Juicio por algoritmo: cuando la equidad agregada oculta el daño a subgrupos

Un ejercicio de posgrado sobre datos sintéticos de prisión preventiva muestra tasas de error dispares por raza que los resúmenes de equidad agregada pasan por alto, un modo de falla que una revisión de seguridad debería detectar y que un registro de decisión auditable dejaría a la vista.

noviembre 11, 2024 · 6 min

Dos tasas de error cuentan la verdadera historia de un juicio automatizado. Mi equipo de posgrado ejecutó un ejercicio sintético de prisión preventiva sobre tres conjuntos de datos construidos a nivel de condado, y el ejercicio reportó las dos tasas tirando en direcciones opuestas según la raza: para los acusados negros, una tasa de falsos positivos más de cinco veces la de los acusados blancos, y para los acusados blancos, una tasa de falsos negativos más de cuatro veces la de los acusados negros. Un único promedio de equidad habría ocultado ambas.

La distribución desigual del error, más que un mal número de titular, marca la preocupación de auditabilidad que debería inquietar a cualquiera que confíe en una decisión automatizada. Un sistema puede cumplir un objetivo global y aun así dirigir sus errores hacia las personas menos capaces de impugnarlos.

Un ejercicio didáctico, no una auditoría de campo

La honestidad sobre la evidencia va primero. Mi equipo, en el marco de un curso de IA responsable, examinó tres conjuntos de datos sintéticos en lugar de registros de una jurisdicción real. Los conjuntos llevaban nombres de condado como etiquetas mientras se llenaban con valores construidos: el conjunto Claiborne se inclinaba predominantemente hacia población negra, el conjunto Copiah predominantemente hacia población blanca y el conjunto Warren se repartía de forma aproximadamente pareja, y los tres coincidían de cerca en tamaño de población, género y educación. Los datos sintéticos respaldan una afirmación didáctica sobre el mecanismo, no una auditoría de campo de ninguna herramienta desplegada. Cada número a continuación reporta una salida de ese ejercicio sintético construido para exponer un patrón, así que leo los resultados como una ilustración de cómo se distribuye el error, no como una medición de ningún lugar o proveedor real. Los materiales del curso, incluidos los tres conjuntos de datos sintéticos y el ensayo reflexivo grupal, quedan detrás del curso de IA responsable y permanecen disponibles a solicitud.

Los puntajes variaron por raza mientras el género se mantuvo plano

La disparidad comenzó en los puntajes mismos. En los tres conjuntos de datos, los acusados negros recibieron puntajes de riesgo más altos que los acusados blancos y de otros grupos, mientras que los acusados hombres y mujeres recibieron puntajes muy parecidos. El género se comporta como un control en este ejercicio: el mismo flujo que trató por igual a hombres y mujeres produjo una brecha racial consistente. Una brecha que sobrevive en conjuntos de datos con distintas mezclas demográficas resulta consistente con un mecanismo del proceso de puntuación, más que con una sola población.

Las decisiones etiquetadas movieron el umbral

Las etiquetas sintéticas de decisión del ejercicio ampliaron la brecha en lugar de cerrarla. Entre los registros sintéticos a los que se negó la fianza, los acusados negros formaban una amplia mayoría; entre los liberados, lo hacían los acusados blancos. Con un puntaje de riesgo sintético idéntico de 5 o 6, las decisiones etiquetadas negaban la fianza a los acusados negros mientras liberaban a los blancos, de modo que la variable de umbral del ejercicio quedó en 4 para los acusados negros y en 6 para los blancos. Un acusado negro al que el modelo puntuó como menos riesgoso que un acusado blanco aun así enfrentaba un corte etiquetado más estricto. Las etiquetas sintéticas codifican un sesgo de decisión que el puntaje por sí solo subestimaría; el ejercicio aportó un número que las decisiones etiquetadas luego reponderaron.

Las tasas de error exponen el modo de falla por subgrupo

La brecha de umbral se tradujo directamente en tasas de error divergentes, y las tasas de error cargan la lección de seguridad. Definiendo un falso positivo como detención sin reincidencia y un falso negativo como liberación seguida de reincidencia, el ejercicio sintético reportó una tasa de falsos positivos para los acusados negros más de cinco veces la de los blancos, y una tasa de falsos negativos para los blancos más de cuatro veces la de los negros. Cada grupo sintético cargaba un tipo distinto de error: la detención injusta se concentraba en los acusados negros, y el riesgo no detectado se concentraba en los blancos. Un modelo ajustado a un único objetivo agregado puede exhibir un puntaje general respetable mientras distribuye sus dos modos de falla de forma tan desigual, y por eso las tasas de error por subgrupo, más que un promedio global, deben estar en el centro de cualquier revisión de seguridad.

Una sola métrica no basta para certificar equidad

Dos definiciones de equidad chocaron, y ambas se resisten a sostenerse juntas. La paridad demográfica exige tasas de resultado iguales entre grupos; la igualdad de oportunidades exige tasas de error iguales, sobre todo tasas de falsos negativos iguales, entre personas que se comportan de manera similar. El ejercicio falló en ambas, y corregir una jugaba en contra de la otra. Forzar la paridad demográfica habría requerido liberar a acusados negros con puntajes más altos mientras se detenía a acusados blancos con puntajes más bajos, rompiendo la igualdad de oportunidades; forzar la igualdad de oportunidades habría requerido reponderar los puntajes mismos, que excluyen la raza de forma explícita pero dejan que variables sustitutas como el vecindario, el ingreso y la historia familiar la codifiquen en silencio.

La literatura más amplia formaliza el dilema. Kleinberg, Mullainathan y Raghavan y Chouldechova muestran que, cuando las tasas base difieren, la calibración y la igualdad de tasas de error se contraponen, y Hardt, Price y Srebro definen el objetivo de igualdad de oportunidades contra el que tensiona ese compromiso. El análisis de COMPAS de ProPublica puso el mismo conflicto ante el público. La calibración en agregado, la garantía de que un puntaje significa lo mismo en promedio, no basta por sí sola para certificar que un subgrupo escape de un daño concentrado.

Las etiquetas sesgadas corrompen la verdad de referencia

La verdad de referencia real en prisión preventiva merece su propia sospecha. En los sistemas reales de prisión preventiva, las etiquetas de reincidencia se apoyan en datos de arrestos, y los datos de arrestos reflejan a quién se vigila tanto como quién infringe la ley. Como la vigilancia policial recae de manera desigual, un acusado negro enfrenta una probabilidad más alta de ser arrestado de nuevo sin importar la conducta subyacente, de modo que las etiquetas basadas en arrestos incrustan el sesgo de aplicación antes de que cualquier modelo las lea. Un modelo entrenado con esas etiquetas aprende a reproducir el patrón de aplicación y luego lo blanquea como predicción. El ajuste del umbral por sí solo no repara un objetivo corrompido; el arreglo tiene que llegar a la medición, no solo al corte. El ejercicio sintético de aquí sortea ese sesgo, ya que sus etiquetas son construidas, así que el punto se sostiene como contexto externo que un despliegue real tendría que enfrentar.

Un registro de decisión dejaría la brecha a la vista

El ejercicio apunta a la pregunta de diseño en la que trabajo en otros lugares. En este escenario, el corte más estricto para los acusados negros se mantuvo implícito, enterrado en los resultados en vez de enunciado como una regla que una persona pudiera cuestionar. Un registro de decisión auditable lo dejaría a la vista: el puntaje, el umbral aplicado, la tasa de error por subgrupo recalculada y cualquier objeción planteada viajarían con el caso en lugar de disolverse en una resolución. Mi prototipo Tribunal persigue exactamente esa disciplina, registrando la premisa, la regla y el disenso para que un revisor pueda impugnar un juicio después de los hechos. Un registro deja sin corregir la injusticia de una decisión sesgada; vuelve legible el sesgo, lo cual es la precondición para impugnarlo.

Límites

  • El conjunto de datos es sintético y el análisis es trabajo de curso; los resultados ilustran un mecanismo y no llegan a certificar ningún sistema desplegado.
  • Los hallazgos describen cómo interactúan el error y el umbral según la raza en un escenario construido, al margen de cualquier afirmación sobre una jurisdicción, un proveedor o una herramienta con nombre.
  • La imposibilidad de equidad se sigue de tasas base distintas y de una medición sesgada, más que de un veredicto de que algún remedio único sea el correcto.

Fuentes