主要结果
- 样本
- 公开评估工具链
- 评估器
- 将公开声明与其证明工件进行对照
- 结果
- 查询重写和重排序后上下文精度 86.6%；918 个查询的完整划分上精确匹配下降
- 验证范围
- 根据性提升，同时确定性精确匹配下降；结果是一个权衡。
Pablo Zavala · AI 安全评估 · 研究工程
RAG 评估实验室
一个评估工具链，在 Mini Wikipedia 上用 RAGAS 和 SQuAD 指标比较基线 RAG 流程与重排序流程。重排序流程达到 86.6% 上下文精度，但精确匹配下降。
主张精确度
- 证据所证明的内容
- 查询重写和重排序后上下文精度 86.6%；918 个查询的完整划分上精确匹配下降
- 能力与证据前沿
- 根据性提升，同时确定性精确匹配下降；结果是一个权衡。
角色: 评估工具链构建者：检索变体、指标、置信区间和报告。
评估卡
证据信号
- 样本
- 查询重写和重排序使上下文精度从 69.0% 升至 86.6%
- 评估器
- 阅读仓库、报告、版本化数据或公开演示
- 结果
- 同一评估切片上忠实度从 67.6% 升至 78.5%
- 验证范围
- 根据性提升，同时确定性精确匹配下降；结果是一个权衡。
| 维度 | 样本 | 评估器 | 结果 | 验证范围 |
|---|---|---|---|---|
| 主要结果 | 公开评估工具链 | 将公开声明与其证明工件进行对照 | 查询重写和重排序后上下文精度 86.6%；918 个查询的完整划分上精确匹配下降 | 根据性提升，同时确定性精确匹配下降；结果是一个权衡。 |
| 证据信号 | 查询重写和重排序使上下文精度从 69.0% 升至 86.6% | 阅读仓库、报告、版本化数据或公开演示 | 同一评估切片上忠实度从 67.6% 升至 78.5% | 根据性提升，同时确定性精确匹配下降；结果是一个权衡。 |
如何检查这项工作
评估问题
一个评估工具链，在 Mini Wikipedia 上用 RAGAS 和 SQuAD 指标比较基线 RAG 流程与重排序流程。重排序流程达到 86.6% 上下文精度，但精确匹配下降。
可检查证据
主要证据： 查询重写和重排序后上下文精度 86.6%；918 个查询的完整划分上精确匹配下降. 证据表面： 公开评估工具链.
能力与证据前沿
根据性提升，同时确定性精确匹配下降；结果是一个权衡。
案例研究
问题
一个评估工具链，在 Mini Wikipedia 上用 RAGAS 和 SQuAD 指标比较基线 RAG 流程与重排序流程。重排序流程达到 86.6% 上下文精度，但精确匹配下降。
背景
该工具链比较朴素的 top-one 检索流程与增强流程，后者使用面向召回的查询重写和 cross-encoder 重排序。
方法
Pablo 的角色： 评估工具链构建者：检索变体、指标、置信区间和报告。 RAGAS 指标, SQuAD 指标, Cross-encoder 重排序
结果
查询重写和重排序后上下文精度 86.6%；918 个查询的完整划分上精确匹配下降 查询重写和重排序使上下文精度从 69.0% 升至 86.6%
验证范围
根据性提升，同时确定性精确匹配下降；结果是一个权衡。
证据
公开评估工具链 主要证据位于材料区的链接中。
关键结果
- 查询重写和重排序使上下文精度从 69.0% 升至 86.6%
- 同一评估切片上忠实度从 67.6% 升至 78.5%
- 完整划分上精确匹配出现统计显著下降
方法
- RAGAS 指标
- SQuAD 指标
- Cross-encoder 重排序
- Wilson 置信区间