我为有权限采取真实行动的 AI 智能体构建可复现评估。

Authority Calibration

证据

公开权限使用试点：14/14 和 12/12 个抑制测试中完成披露；9/9 和 8/8 个给定规则试验中自我降级；0 个匹配 firebreak 反转；独立 Codex 测试发现 6/19 次 assurance 削弱

证据

公开可复现仓库

能力与证据前沿

试点规模证据；罕见失败仍需更大样本。

AI 智能体越来越多地运行流程、分配资源并协调其他智能体。这个项目测试它们能否正确使用委托权限：既在授权边界内行动，也能使用自己确实拥有的权限。

Safe MarketUniverses

证据

120 回合；置信度相对损失 0.176 vs 随机 0.191

证据

公开可复现基准

能力与证据前沿

该基准测试紧凑金融风格环境中的分配；更广泛监督场景需要单独验证。

在一个 120 回合的监督分配基准中，基于置信度的相对损失为 0.176，而随机分配为 0.191；差距太小，无法作为可靠的监督分流信号。

RAG 评估

证据

查询重写和重排序后上下文精度 86.6%；918 个查询的完整划分上精确匹配下降

证据

公开评估工具链

能力与证据前沿

根据性提升，同时确定性精确匹配下降；结果是一个权衡。

一个评估工具链，在 Mini Wikipedia 上用 RAGAS 和 SQuAD 指标比较基线 RAG 流程与重排序流程。重排序流程达到 86.6% 上下文精度，但精确匹配下降。

DonorsChoose ML

证据

185,000+ 个留出测试课堂项目上 ROC AUC 0.757

证据

公开分析仓库

能力与证据前沿

该模型是政策分流辅助；若作为资助决策系统部署，需要额外验证。

一个模型，用于识别最可能无法获得资助的 DonorsChoose 课堂项目，使有限审查注意力优先触达资源不足学校。公平性审计将不同学校贫困水平上的错误率差异纳入部署分析。

SQLite 隐私边界

证据

六项边界自检对 CI 把关：确定性、k=5 去重文本下限、只读 SQL authorizer、静态脱敏、哈希链审计，以及不含私有表的导出库

证据

公开可复现代码仓库

能力与证据前沿

这些控制是结构性的而非语义性的；模式脱敏无法识别新型的自我标识文本，且该下限计数的是去重文本而非人数。

一个无依赖的原型从 SQLite 中的自由文本数据集发布结构，而不暴露原始行或私有基表。模式脱敏在存储前清理文本，k=5 的去重文本下限对每个公开主题和聚合单元格进行把关，SQLite 的 authorizer 在每次查询时拒绝写入、私有表和敏感列。

NUDG

证据

智能体执行工作的授权、约束、验证和收据

证据

创始人系统，公开声明有边界

能力与证据前沿

公开视觉材料解释系统模型；生产中的产品声明需要单独证明包。

NUDG 是 CMU AI Venture Studio 项目，用来控制智能体如何使用真实资源。它用提案、授权、执行、验证和收据分层替代宽泛访问权限。

测量具体失效模式

权限越界、监督分流差、根据性弱和不均衡干预错误，都会在评分之前被明确命名。

为声明选择合适评估器

代码检查、模型评判指标、可读审计和确定性基线会与评估任务匹配。

将主张缺口转化为能力

零结果、评估器错误、私有数据约束和脆弱基线与核心数字并列，成为明确的建设或验证任务。