Pablo Zavala · AI 安全评估 · 研究工程

算法的裁决：当聚合公平掩盖子群体伤害

一项基于合成审前数据的研究生练习显示出按种族分布的差异化错误率，而聚合公平摘要会将其掩盖；这是一种安全审查应当发现、可审计的决策记录会使其显现的失效模式。

2024年11月11日 · 6 min

两个错误率才讲出自动化裁决的真实故事。我的研究生团队在三个构造的县级数据集上运行了一次合成审前练习，练习报告这两个错误率按种族朝相反方向拉扯：对黑人被告，假阳性率是白人被告的五倍多；对白人被告，假阴性率是黑人被告的四倍多。单一的公平平均值会把两者都掩盖掉。

让任何信任自动化决策的人应当担忧的可审计性问题，是错误分布的不均，而不是某个糟糕的头条数字。一个系统可以达到全局目标，却仍把错误导向那些最无力对其提出异议的人。

这是一次教学练习，而非实地审计

先把证据说诚实。我的团队在一门负责任 AI 课程下，检查的是三个合成数据集，而不是某个真实司法辖区的记录。这些数据集以县名作为标签，却用构造的数值填充：Claiborne 数据集以黑人人口为主，Copiah 数据集以白人人口为主，Warren 数据集大致均分，三者在人口规模、性别和教育上高度接近。合成数据支撑的是关于机制的教学性主张，而非对任何已部署工具的实地审计。下文每一个数字都是这次为暴露某种模式而构建的合成练习的输出，因此我把结果读作错误如何分布的示例，而非对任何真实地点或供应商的测量。课程材料，包括三个合成数据集和小组反思文章，留在这门负责任 AI 课程之后，可按请求提供。

分数按种族变化，而性别保持平稳

差异始于分数本身。在全部三个数据集中，黑人被告获得的风险分数高于白人被告和其他群体，而男性与女性被告获得的分数彼此接近。性别在这次练习中表现得像一个对照：同一条流水线对男女一视同仁，却产生了一致的种族差距。一个在人口构成不同的数据集之间都存活下来的差距，与评分过程机制相符，而非与某一个特定群体相符。

被标注的决策移动了阈值

练习的合成决策标签扩大了差距，而不是缩小它。在被拒绝保释的合成记录中，黑人被告占了绝大多数；在被释放的记录中，占多数的是白人被告。在相同的合成风险分数 5 或 6 上，被标注的决策拒绝黑人被告的保释，却释放白人被告，因此练习报告的阈值变量对黑人被告是 4，对白人被告是 6。一个被模型评为比白人被告风险更低的黑人被告，仍然要满足更严格的标注切点。合成标签编码了一种单看分数会被低估的决策偏差；练习给出一个数字，被标注的决策随后又对它重新加权。

错误率暴露出子群体失效模式

阈值差距直接转化为分化的错误率，而错误率承载着安全教训。把假阳性定义为无再犯的羁押、把假阴性定义为释放后再犯，这次合成练习报告：黑人被告的假阳性率是白人的五倍多，白人被告的假阴性率是黑人的四倍多。每个合成群体承受的是不同种类的错误：错误羁押集中在黑人被告身上，而漏判的风险集中在白人被告身上。一个只针对单一聚合目标调优的模型，可以拿出体面的总体分数，却把它的两种失效模式分布得如此不均，这正是为什么子群体错误率，而非全局平均值，应当处于任何安全审查的核心。

单一指标无法认证公平

两种公平定义相撞，而二者难以同时成立。人口比例均等要求各群体的结果率相等；机会均等要求行为相似的人之间错误率相等，尤其是假阴性率相等。练习在两者上都失败，而为其一纠偏就会与另一者相悖。强行实现人口比例均等，就需要释放分数更高的黑人被告，同时羁押分数更低的白人被告，从而破坏机会均等；强行实现机会均等，就需要对分数本身重新加权，而这些分数虽然显式排除了种族，却让诸如社区、收入和家庭史这样的代理变量悄悄把它编码进去。

更广的文献把这一困境形式化。Kleinberg、Mullainathan 和 Raghavan 与 Chouldechova 表明，当基率不同时，校准与错误率相等会相互权衡取舍，而 Hardt、Price 和 Srebro 定义了这一权衡所拉扯的机会均等目标。ProPublica 对 COMPAS 的分析 把同一冲突摆到了公众面前。聚合层面的校准，即分数在平均意义上含义相同的那种安心，单凭自身无法认证某个子群体能避开集中的伤害。

带偏见的标签会污染基准真相

真实的审前基准真相值得单独的怀疑。在真实的审前系统中，再犯标签依赖逮捕数据，而逮捕数据既反映谁触犯了法律，也反映谁被警务盯上。由于警务落点并不均等，黑人被告无论底层行为如何都面临更高的再次被捕概率，因此基于逮捕的标签在任何模型读到它们之前就已嵌入了执法偏差。用这类标签训练的模型学会复制执法模式，再把它当作预测来洗白。仅靠阈值调整无法修复一个被污染的目标；修复必须触及测量本身，而不只是切点。这里的合成练习绕开了这种偏差，因为它的标签是构造的，因此这一点作为真实部署将会面对的外部背景而成立。

决策记录会让差距显现

这次练习指向我在别处研究的设计问题。在这个情景中，对黑人被告更严格的切点始终是隐性的，埋在结果里，而不是作为一条人们可以质疑的规则被明说出来。一份可审计的决策记录会让它显现：分数、所应用的阈值、重新计算的子群体错误率，以及提出的任何异议，都会随案件一同流转，而不是消散进一个处置结果里。我的 Tribunal 原型追求的正是这种纪律，记录前提、规则和异议，好让审查者能在事后对一项裁决提出争议。记录不会纠正一项带偏见决策的不公；它让偏见变得可读，而这正是对其提出异议的前提。

边界

  • 数据集是合成的，分析属于课程作业；结果说明的是一种机制，并未认证任何已部署的系统。
  • 这些发现描述的是在一个构造情景中错误与阈值如何按种族相互作用，与任何关于具名司法辖区、供应商或工具的主张无关。
  • 公平的不可能性源于不同的基率和带偏见的测量，而非源于某个单一补救措施正确的裁断。

来源