Pablo Zavala · AI 安全评估 · 研究工程

面向原住民权利的多语言 AI：低资源情形下的安全

这是一份设计提案，而非已构建的系统，用于一个覆盖西班牙语、克丘亚语和舒阿尔语的法律与商业顾问，围绕低资源语言安全、幻觉风险和人工复核展开。

2024年10月13日 · 6 min

一个会说克丘亚语的法律顾问必须在法律上答对，否则一个错误答案就会造成真实伤害。我的团队起草了一份多语言顾问的设计，覆盖西班牙语、克丘亚语和舒阿尔语，用来帮助厄瓜多尔原住民维护土地与权利主张、创办企业，而这份设计最难的问题正是安全问题：模型恰恰在错误答案代价最高的那些语言和法律领域里最为薄弱。

这是一份提案，而非一次部署

这项工作的状态需要直说。我们产出的是一份设计文档，而不是一个运行中的系统：一套 LLMOps 生命周期、一组目标，以及一份关于偏见、文化敏感性和可观测性的 KPI 清单。团队在训练模型、评估任何输出，或与任何社区测试哪怕一次回应之前就停下了。下文描述的一切都是意图行为，而意图行为只有在测量之后才赢得信任。把这份提案读作一份有待压力测试的规格说明，而不是读作一个结果，才能让主张保持诚实。

脆弱用户抬高了门槛

我的动机很具体。我是厄瓜多尔人，而这个工具将要服务的人群，也就是那些在处理土地权利、环境损害以及创办企业种种手续的社区，正属于权利与法律咨询情境中的高风险用户，而现有系统往往对他们服务不足。一个流畅却错误的答案，会以它面对律师时同样的自信，抵达一位初次创业者或一个正在捍卫自身领地的社区，而没有受过法律训练的读者最没有能力发现这个错误。因此，把脆弱用户服务好会抬高门槛，而不是降低门槛：用户的处境越艰难，系统就越没有余地随意出错。

低资源语言抬高了安全门槛

语言的选择带来第一个安全问题。西班牙语有广泛的模型支持；克丘亚语（在厄瓜多尔称 Kichwa）和舒阿尔语则缺乏支持，而低资源语言恰好处在大模型退化的位置，训练数据更稀薄、评估更薄弱、基准真相稀少。Joshi 及其同事记录了真正得到 NLP 关注的语言何其之少，而 NLLB 低资源翻译项目展示了低资源翻译仍然需要多少工程投入。一份承诺提供克丘亚语和舒阿尔语建议的设计，继承了这种脆弱性，因此诚实的版本会把这些语言当作评估必须最强的地方，而不是当作可以宣传的功能。

法律建议中的幻觉是核心风险

在这一领域，编造会从麻烦变成危害。一个凭空捏造出某条法规、某个申报期限或某项土地确权程序的模型，可能把用户推向一次败诉的主张或一项被错过的保护。提案借助检索增强生成，把答案锚定在经过核实的法律来源上，而检索锚定确实能减少编造，但检索只是缩小风险而未将其抹除，因为模型仍可能误读一段检索到的文字，或把它与臆造混在一起。关于幻觉的综述让这一残余风险变得具体。因此，高风险的法律建议需要的不止是锚定；系统需要一条边界，阻止它在来源之外断言法律。

评估必须覆盖法律与文化上的准确性

提案的 KPI 涵盖偏见、真实性、文化敏感性和法律准确性，点出了正确的目标，却把最难的部分留着没建。用克丘亚语衡量法律准确性，需要由厄瓜多尔法律专家和流利使用者核对过的参考答案，而不是一个通用基准；衡量文化敏感性，需要对判断拥有话语权的原住民复核者，而不是一个替代分数。在这些评估集存在之前，这些 KPI 描述的是一种愿景，而非一个结果。一个可信的下一步应保持狭窄：为一种语言中的一个法律领域构建一个小型的、经专家复核的测试集，公布错误率，并拒绝以快于评估所能跟上的速度去扩大范围。

每一项权利主张都应有人工复核

这个工具最安全的版本是给出建议，把决定留给人。一项权利主张或一次法律申报所带来的后果属于人，而非属于一个自动化答案，因此设计应当在用户据此行动之前，让每一个高风险输出都经过一位合格的人，无论是律师、律师助理，还是受过训练的社区维权者。提案已经邀请社区复核者参与偏见审计和人类反馈；把这一原则延伸到实时建议，就能在伤害发生的那一点上让人保持担责。我关于可审计决策记录的工作在这里直接适用：一个用用户的语言展示某项主张依据了哪些来源的顾问，能让复核者去检查推理，而不是去信任那份流畅。人类监督构成这个系统的核心，而不是一个兜底；人类监督就是这份设计。

边界

  • 这项工作是一份设计提案，而非一个已部署、已训练或已评估的系统；准确性、偏见与安全方面的数字仍属于未来工作。
  • 被点名的基础模型与技术，例如一个预训练基础模型、检索和人类反馈，是提案中的设计选择，而非经过测试的组件。
  • 离线运行、语音交互和完整的多语言覆盖是已声明的意图，其可行性有待一次实际构建来证明。

来源