Pablo Zavala · AI 安全评估 · 研究工程

DonorsChoose 教育政策 ML

一个模型，用于识别最可能无法获得资助的 DonorsChoose 课堂项目，使有限审查注意力优先触达资源不足学校。公平性审计将不同学校贫困水平上的错误率差异纳入部署分析。

185,000+ 个留出测试课堂项目上 ROC AUC 0.757

公开分析仓库

该模型是政策分流辅助；若作为资助决策系统部署，需要额外验证。

角色: 应用机器学习分析：模型选择、阈值设定和公平性审计。

如何检查这项工作

评估问题

一个模型，用于识别最可能无法获得资助的 DonorsChoose 课堂项目，使有限审查注意力优先触达资源不足学校。公平性审计将不同学校贫困水平上的错误率差异纳入部署分析。

可检查证据

主要证据: 185,000+ 个留出测试课堂项目上 ROC AUC 0.757. 证据表面: 公开分析仓库.

声明边界

该模型是政策分流辅助；若作为资助决策系统部署，需要额外验证。

案例研究

问题

一个模型，用于识别最可能无法获得资助的 DonorsChoose 课堂项目，使有限审查注意力优先触达资源不足学校。公平性审计将不同学校贫困水平上的错误率差异纳入部署分析。

背景

DonorsChoose 上约三分之一课堂项目无法达到资助目标，且这种失败对资源不足学校影响更大。模型使用发布时可用的变量预测资助风险。

方法

Pablo 的角色: 应用机器学习分析：模型选择、阈值设定和公平性审计。 XGBoost, 分层交叉验证, 阈值选择

结果

185,000+ 个留出测试课堂项目上 ROC AUC 0.757 185,000+ 个留出测试项目上 ROC AUC 0.757

边界

该模型是政策分流辅助；若作为资助决策系统部署，需要额外验证。

证据

公开分析仓库 主要证据位于材料区的链接中。

关键结果

• 185,000+ 个留出测试项目上 ROC AUC 0.757
• 公平性审计发现最高贫困学校的高风险项目更容易被漏掉
• 建议使用与实际审查能力匹配的最低十分位审查清单

方法

• XGBoost
• 分层交叉验证
• 阈值选择
• 公平性审计