Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa

ML aplicado à política educacional no DonorsChoose

Modelo que identifica pedidos DonorsChoose com maior risco de ficar sem financiamento, para direcionar atenção limitada de revisores a escolas com menos recursos. A auditoria de equidade reporta taxas de erro desiguais por nível de pobreza escolar.

ROC AUC 0.757 em mais de 185,000 projetos reservados para teste

Repositório público de análise

O modelo serve como ajuda de triagem; um sistema de decisão de financiamento exigiria validação adicional.

Papel: Analista de ML aplicado: seleção de modelo, limiares e auditoria de equidade.

Como inspecionar este trabalho

Pergunta avaliada

Modelo que identifica pedidos DonorsChoose com maior risco de ficar sem financiamento, para direcionar atenção limitada de revisores a escolas com menos recursos. A auditoria de equidade reporta taxas de erro desiguais por nível de pobreza escolar.

Evidência inspecionável

Evidência principal: ROC AUC 0.757 em mais de 185,000 projetos reservados para teste. Superfície: Repositório público de análise.

Limite da afirmação

O modelo serve como ajuda de triagem; um sistema de decisão de financiamento exigiria validação adicional.

Estudo de caso

Problema

Modelo que identifica pedidos DonorsChoose com maior risco de ficar sem financiamento, para direcionar atenção limitada de revisores a escolas com menos recursos. A auditoria de equidade reporta taxas de erro desiguais por nível de pobreza escolar.

Contexto

Cerca de um terço dos projetos DonorsChoose não atinge a meta de financiamento, com custo maior para escolas com menos recursos. O modelo prediz risco usando variáveis disponíveis no momento da publicação.

Método

Papel de Pablo: Analista de ML aplicado: seleção de modelo, limiares e auditoria de equidade. XGBoost, Validação cruzada estratificada, Seleção de limiar

Resultado

ROC AUC 0.757 em mais de 185,000 projetos reservados para teste ROC AUC 0.757 em conjunto de teste reservado com mais de 185,000 projetos

Limite

O modelo serve como ajuda de triagem; um sistema de decisão de financiamento exigiria validação adicional.

Evidência

Repositório público de análise A evidência principal aparece nos links da seção de materiais.

Resultados principais

  • ROC AUC 0.757 em conjunto de teste reservado com mais de 185,000 projetos
  • Auditoria de equidade encontra mais omissões em escolas de maior pobreza
  • Recomenda lista do decil inferior ajustada à capacidade real de revisão

Métodos

  • XGBoost
  • Validação cruzada estratificada
  • Seleção de limiar
  • Auditoria de equidade