Pablo Zavala · Evaluación de seguridad de IA · Ingeniería de investigación

ML aplicado a política educativa en DonorsChoose

Modelo que identifica solicitudes de aula en DonorsChoose con mayor riesgo de quedar sin financiamiento, para dirigir atención de revisores hacia escuelas con menos recursos. La auditoría de equidad reporta tasas de error desiguales por nivel de pobreza escolar.

ROC AUC 0.757 en más de 185,000 proyectos de aula reservados para prueba

Repositorio público de análisis

El modelo sirve como ayuda de triaje; usarlo como sistema de decisión de financiamiento exige validación adicional.

Rol: Analista de ML aplicado: selección de modelo, umbrales y auditoría de equidad.

Cómo inspeccionar este trabajo

Pregunta evaluada

Modelo que identifica solicitudes de aula en DonorsChoose con mayor riesgo de quedar sin financiamiento, para dirigir atención de revisores hacia escuelas con menos recursos. La auditoría de equidad reporta tasas de error desiguales por nivel de pobreza escolar.

Evidencia inspeccionable

Evidencia principal: ROC AUC 0.757 en más de 185,000 proyectos de aula reservados para prueba. Superficie: Repositorio público de análisis.

Límite de la afirmación

El modelo sirve como ayuda de triaje; usarlo como sistema de decisión de financiamiento exige validación adicional.

Estudio de caso

Problema

Modelo que identifica solicitudes de aula en DonorsChoose con mayor riesgo de quedar sin financiamiento, para dirigir atención de revisores hacia escuelas con menos recursos. La auditoría de equidad reporta tasas de error desiguales por nivel de pobreza escolar.

Contexto

Cerca de un tercio de los proyectos publicados en DonorsChoose queda sin meta de financiamiento, y esa falla golpea más fuerte a estudiantes en escuelas con menos recursos. El modelo predice riesgo de financiamiento desde variables disponibles al publicar y produce una lista del decil inferior dimensionada a la capacidad revisora.

Método

Rol de Pablo: Analista de ML aplicado: selección de modelo, umbrales y auditoría de equidad. XGBoost, Validación cruzada estratificada, Selección de umbrales

Resultado

ROC AUC 0.757 en más de 185,000 proyectos de aula reservados para prueba ROC AUC de 0.757 en un conjunto de prueba reservado de más de 185,000 proyectos

Límite

El modelo sirve como ayuda de triaje; usarlo como sistema de decisión de financiamiento exige validación adicional.

Evidencia

Repositorio público de análisis La evidencia principal aparece en los enlaces de la sección de materiales.

Resultados clave

  • ROC AUC de 0.757 en un conjunto de prueba reservado de más de 185,000 proyectos
  • La auditoría de equidad encontró más omisiones de proyectos en riesgo en escuelas de mayor pobreza
  • Recomienda una lista del decil inferior ajustada a capacidad real de revisión

Métodos

  • XGBoost
  • Validación cruzada estratificada
  • Selección de umbrales
  • Auditoría de equidad