Pablo Zavala · Évaluation de sécurité IA · Ingénierie de recherche

ML appliqué à la politique éducative DonorsChoose

Modèle qui identifie les demandes DonorsChoose les plus à risque de rester sans financement, afin de diriger l'attention limitée des réviseurs vers les écoles sous-dotées. L'audit d'équité reporte des taux d'erreur inégaux par niveau de pauvreté scolaire.

ROC AUC 0.757 sur plus de 185,000 projets réservés au test

Dépôt public d'analyse

Le modèle sert d'aide au triage; un système de décision de financement exigerait validation supplémentaire.

Rôle: Analyste ML appliqué : sélection de modèle, seuils et audit d'équité.

Comment inspecter ce travail

Question évaluée

Modèle qui identifie les demandes DonorsChoose les plus à risque de rester sans financement, afin de diriger l'attention limitée des réviseurs vers les écoles sous-dotées. L'audit d'équité reporte des taux d'erreur inégaux par niveau de pauvreté scolaire.

Preuve inspectable

Preuve principale : ROC AUC 0.757 sur plus de 185,000 projets réservés au test. Surface : Dépôt public d'analyse.

Limite de l'affirmation

Le modèle sert d'aide au triage; un système de décision de financement exigerait validation supplémentaire.

Étude de cas

Problème

Modèle qui identifie les demandes DonorsChoose les plus à risque de rester sans financement, afin de diriger l'attention limitée des réviseurs vers les écoles sous-dotées. L'audit d'équité reporte des taux d'erreur inégaux par niveau de pauvreté scolaire.

Contexte

Environ un tiers des projets DonorsChoose n'atteint pas son objectif de financement, avec un coût plus fort pour les écoles sous-dotées. Le modèle prédit le risque à partir de variables disponibles au moment de la publication.

Méthode

Rôle de Pablo : Analyste ML appliqué : sélection de modèle, seuils et audit d'équité. XGBoost, Validation croisée stratifiée, Sélection de seuil

Résultat

ROC AUC 0.757 sur plus de 185,000 projets réservés au test ROC AUC 0.757 sur un jeu de test réservé de plus de 185,000 projets

Limite

Le modèle sert d'aide au triage; un système de décision de financement exigerait validation supplémentaire.

Preuve

Dépôt public d'analyse La preuve principale se trouve dans les liens de la section matériaux.

Résultats clés

  • ROC AUC 0.757 sur un jeu de test réservé de plus de 185,000 projets
  • L'audit d'équité trouve plus d'omissions dans les écoles les plus pauvres
  • Recommande une liste du décile inférieur adaptée à la capacité réelle de revue

Méthodes

  • XGBoost
  • Validation croisée stratifiée
  • Sélection de seuil
  • Audit d'équité