Pablo Zavala · AI 安全评估 · 研究工程

把交易模拟作为人工审查测试

Safe MarketUniverses 把金融作为一个紧凑实验场，检验一个实际的智能体安全问题：模型给出的不确定性，能否把稀缺人工审查指向审查本来会有帮助的决策。

2026年7月2日 · 5 min

!由数据生成的监督视觉

BUY、HOLD、SELL、VERIFY 和 ESCALATE 是基准标签，和交易指令分开。本文拒绝投资建议、交易执行和盈利能力主张。

为什么金融有帮助

我从交易模拟开始 Safe MarketUniverses，因为市场会让含糊的智能体主张付出成本。模型可能听起来谨慎，却使用过期证据，过度解读回测，或者把审查花在错误案例上。因此，这个模拟变成了压力下判断的测试，而不是寻找交易机会。

金融提供了紧凑场景。证据带有时间戳。价格在决策之后移动。审查有成本。置信度容易陈述，却很难用好。由此产生的问题超出金融本身：当智能体在不确定性下反复行动时，它自己的不确定性能否指出值得人来检查的那一次决策？

从智能体到审查

系统回放历史股票状态，共 120 个回合、480 个决策步。每一步有三个策略智能体投票：动量、价值反向和波动厌恶。它们的输出进入弃权层和监督器；监督器可以批准、验证、弃权或升级。日志保存观察、投票、监督决策、结果标签和失败模式。

这个设计跟随我在 Agent-Based Modeling and Agentic Technology 中学习的智能体系统框架。智能体把感知和状态映射到行动。多智能体系统把多种策略放进共同环境。因此，评估必须评分整条轨迹，而不是评分一段痕迹是否流畅。

基准发现了什么

核心指标是相对事后 oracle 的 regret。在同样有限的审查预算下，oracle 会把审查花在最有帮助的步骤上。模型看不到这些事后效用。基准测量一条审查规则留下了多少价值。

预注册模型信号规则只使用委员会置信度、验证需求和分歧。在主运行中，该信号达到每步 0.1759 的 regret。随机分配达到 0.1911。这个差距太小，无法支持强监督分流主张。

同一个委员会的平均校准误差相对较低：委员会置信度 ECE 为 0.1018。可是，校准和分流回答不同问题。校准问委员会总体上多常正确。分流问哪一个具体决策值得交给人。