Pablo Zavala · Evaluación de seguridad de IA · Ingeniería de investigación
ML aplicado a política educativa en DonorsChoose
Modelo que identifica solicitudes de aula en DonorsChoose con mayor riesgo de quedar sin financiamiento, para dirigir atención de revisores hacia escuelas con menos recursos. La auditoría de equidad reporta tasas de error desiguales por nivel de pobreza escolar.
ROC AUC 0.757 en más de 185,000 proyectos de aula reservados para prueba
Repositorio público de análisis
El modelo sirve como ayuda de triaje; usarlo como sistema de decisión de financiamiento exige validación adicional.
Rol: Analista de ML aplicado: selección de modelo, umbrales y auditoría de equidad.
Cómo inspeccionar este trabajo
Pregunta evaluada
Modelo que identifica solicitudes de aula en DonorsChoose con mayor riesgo de quedar sin financiamiento, para dirigir atención de revisores hacia escuelas con menos recursos. La auditoría de equidad reporta tasas de error desiguales por nivel de pobreza escolar.
Evidencia inspeccionable
Evidencia principal: ROC AUC 0.757 en más de 185,000 proyectos de aula reservados para prueba. Superficie: Repositorio público de análisis.
Límite de la afirmación
El modelo sirve como ayuda de triaje; usarlo como sistema de decisión de financiamiento exige validación adicional.
Estudio de caso
Problema
Modelo que identifica solicitudes de aula en DonorsChoose con mayor riesgo de quedar sin financiamiento, para dirigir atención de revisores hacia escuelas con menos recursos. La auditoría de equidad reporta tasas de error desiguales por nivel de pobreza escolar.
Contexto
Cerca de un tercio de los proyectos publicados en DonorsChoose queda sin meta de financiamiento, y esa falla golpea más fuerte a estudiantes en escuelas con menos recursos. El modelo predice riesgo de financiamiento desde variables disponibles al publicar y produce una lista del decil inferior dimensionada a la capacidad revisora.
Método
Rol de Pablo: Analista de ML aplicado: selección de modelo, umbrales y auditoría de equidad. XGBoost, Validación cruzada estratificada, Selección de umbrales
Resultado
ROC AUC 0.757 en más de 185,000 proyectos de aula reservados para prueba ROC AUC de 0.757 en un conjunto de prueba reservado de más de 185,000 proyectos
Límite
El modelo sirve como ayuda de triaje; usarlo como sistema de decisión de financiamiento exige validación adicional.
Evidencia
Repositorio público de análisis La evidencia principal aparece en los enlaces de la sección de materiales.
Resultados clave
ROC AUC de 0.757 en un conjunto de prueba reservado de más de 185,000 proyectos
La auditoría de equidad encontró más omisiones de proyectos en riesgo en escuelas de mayor pobreza
Recomienda una lista del decil inferior ajustada a capacidad real de revisión