对手类型覆盖
- 样本
- 覆盖被动型、均衡/精选型、阶段切换型、分类器诱陷型和超激进型代理的加权真实赛场关卡
- 评估器
- 按固定清单权重混合的、按对手计算的每手奖励
- 结果
- 一个单一的加权分数在整个代理赛场范围内对每个候选者排名,因此针对某一种风格的一次侥幸表现会被暴露出来,而不是被掩盖。
- 边界
- 代理对手只是对真实赛场的近似;公开锦标赛基准测试仍待完成。
Pablo Zavala · AI 安全评估 · 研究工程
具有自适应对手建模能力的锦标赛扑克机器人
一个为CMU数据科学俱乐部竞赛而构建的锦标赛扑克机器人,致力于在面对多样且带有对抗性的对手时,处理不确定性下的决策问题。该机器人从实时下注信号中读取对手倾向,通过一个类老虎机(bandit)选择器在多个专精策略之间进行路由,并只在高不确定性的场景中投入更重的转牌轮搜索。一套以清单(manifest)驱动的回测工具,配合复用同一副牌的对照核验与冻结的发布快照,针对固定的对手和评分权重记录每一次晋升决策。
一个配有文档完备的研究工作流的自适应扑克机器人:后验对手路由、打包的分桶期望值(EV)评分、不确定性门控的转牌搜索,以及以清单驱动、带冻结发布快照的复用发牌回测。
证据依赖于已提交的机器人本身与已文档化的方法;能够重新生成这些对比结果的复用发牌研究脚本并未包含在公开代码树中,针对真实锦标赛赛场的公开头条基准测试仍待完成,且对手模型仍然是启发式与统计性的。
角色: Pablo:负责团队机器人策略,以及从对手模型到晋升关卡的可复现实验工作流。
评估卡
方差控制
- 样本
- 复用发牌对照核验,种子20260321
- 评估器
- 相对冻结锚点的匹配发牌每手奖励差值
- 结果
- 基线策略与挑战策略重放完全相同的发牌,从而使对比能够把策略技巧与发牌运气区分开来。
- 边界
- 匹配发牌能够压缩方差,但覆盖的样本仍然是有限的。
晋升纪律
- 样本
- 每一个候选策略在进入生产环境之前
- 评估器
- 复用发牌关卡加加权真实赛场关卡
- 结果
- 挑战策略只有在同时通过这两道关卡、通过引擎冒烟测试,并守住时间预算之后,才能获得晋升。
- 边界
- 较短的筛选容易产生误导,因此该工具更倾向于采用更长的确认性运行。
| 维度 | 样本 | 评估器 | 结果 | 边界 |
|---|---|---|---|---|
| 对手类型覆盖 | 覆盖被动型、均衡/精选型、阶段切换型、分类器诱陷型和超激进型代理的加权真实赛场关卡 | 按固定清单权重混合的、按对手计算的每手奖励 | 一个单一的加权分数在整个代理赛场范围内对每个候选者排名,因此针对某一种风格的一次侥幸表现会被暴露出来,而不是被掩盖。 | 代理对手只是对真实赛场的近似;公开锦标赛基准测试仍待完成。 |
| 方差控制 | 复用发牌对照核验,种子20260321 | 相对冻结锚点的匹配发牌每手奖励差值 | 基线策略与挑战策略重放完全相同的发牌,从而使对比能够把策略技巧与发牌运气区分开来。 | 匹配发牌能够压缩方差,但覆盖的样本仍然是有限的。 |
| 晋升纪律 | 每一个候选策略在进入生产环境之前 | 复用发牌关卡加加权真实赛场关卡 | 挑战策略只有在同时通过这两道关卡、通过引擎冒烟测试,并守住时间预算之后,才能获得晋升。 | 较短的筛选容易产生误导,因此该工具更倾向于采用更长的确认性运行。 |
如何检查这项工作
方法优先于分数
该机器人靠一套文档完备的决策栈赢得自己的位置,也就是信号加权的对手读牌、类老虎机式的模式路由和不确定性门控搜索,而不是靠单一调校出的阈值。
文档完备的工具
每一次晋升都要经过一份固定了对手、手数和评分权重的清单,随后写出一份加权对比结果;已提交的策略说明与工作流笔记记录了该关卡的运作方式,不过研究脚本本身并未包含在公开代码树中。
读者核查提示
请把这套工具理解为对启发式代理对手的内部自我对弈;把实验日志中的每手奖励数字当作筛选信号来看待,在等到一次公开锦标赛基准测试之前,不要将其解读为真实赛场上的实力。
案例研究
问题
锦标赛扑克会惩罚静态不变的策略:对手的类型从被动型的"车站"玩家,到超激进型的"疯子"玩家不等,其中一些人还会在比赛过程中中途切换风格,以引诱一个固定的反制策略上钩。
背景
Pablo在俱乐部的引擎之上构建了一个分层机器人,并配套了一套研究工作流,把挑战策略放在一条独立的通道中分阶段推进,从而在实验运行的同时保持生产代码的稳定。
方法
该对手模型按轮次(street)、底池大小和跟注成本对近期下注信号加权,标记出不稳定性和低成本信号带来的风险,并将结果输入一个类老虎机式的选择器,该选择器在稳健型、施压型、诱陷型、摊牌型、鲁棒型、反制型、权益型和掠夺型这几种模式之间进行路由。一个混合型挑战策略在此基础上加入了后验类型路由、覆盖五个动作分桶的打包分桶期望值评分,以及对生产机器人已经在运行的不确定性门控转牌搜索所做的更高算力扩展。晋升需要经过以清单驱动的研究,并配合复用发牌的对照核验。
结果
冻结锚点始终保持为生产环境中的默认策略,因为每一个挑战策略,包括功能更丰富的混合策略栈在内,都未能在更长的加权关卡上击败它;实验日志连同相关产物路径一并记录了这一结论。
边界
证据仍然停留在针对启发式代理、在中短样本上的内部自我对弈;公开锦标赛的头条数字仍待完成。
证据
已提交的策略说明、工作流文档以及持续更新的实验日志,记录了整个路由策略栈、各道晋升关卡以及每一次接受或拒绝的决策;能够重新生成这些对比结果的复用发牌研究脚本并未包含在公开代码树中。
关键结果
- 信号加权的对手模型,能够把可信的施压与廉价的早期噪声区分开来,并标记风格切换
- 一个覆盖八种专精模式、带有UCB式探索项的类老虎机式路由器
- 配备后验类型路由、五分桶期望值评分和不确定性门控转牌搜索的混合型挑战策略
- 以清单驱动的回测工具,配合复用发牌对照核验与冻结发布快照,用于受控比较
方法
- 对手建模
- 类老虎机式策略路由
- 分桶期望值动作评分
- 不确定性门控搜索
- 复用发牌回测
- 清单驱动的研究工具