Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa
ML aplicado à política educacional no DonorsChoose
Modelo que identifica pedidos DonorsChoose com maior risco de ficar sem financiamento, para direcionar atenção limitada de revisores a escolas com menos recursos. A auditoria de equidade reporta taxas de erro desiguais por nível de pobreza escolar.
ROC AUC 0.757 em mais de 185,000 projetos reservados para teste
Repositório público de análise
O modelo serve como ajuda de triagem; um sistema de decisão de financiamento exigiria validação adicional.
Papel: Analista de ML aplicado: seleção de modelo, limiares e auditoria de equidade.
Como inspecionar este trabalho
Pergunta avaliada
Modelo que identifica pedidos DonorsChoose com maior risco de ficar sem financiamento, para direcionar atenção limitada de revisores a escolas com menos recursos. A auditoria de equidade reporta taxas de erro desiguais por nível de pobreza escolar.
Evidência inspecionável
Evidência principal: ROC AUC 0.757 em mais de 185,000 projetos reservados para teste. Superfície: Repositório público de análise.
Limite da afirmação
O modelo serve como ajuda de triagem; um sistema de decisão de financiamento exigiria validação adicional.
Estudo de caso
Problema
Modelo que identifica pedidos DonorsChoose com maior risco de ficar sem financiamento, para direcionar atenção limitada de revisores a escolas com menos recursos. A auditoria de equidade reporta taxas de erro desiguais por nível de pobreza escolar.
Contexto
Cerca de um terço dos projetos DonorsChoose não atinge a meta de financiamento, com custo maior para escolas com menos recursos. O modelo prediz risco usando variáveis disponíveis no momento da publicação.
Método
Papel de Pablo: Analista de ML aplicado: seleção de modelo, limiares e auditoria de equidade. XGBoost, Validação cruzada estratificada, Seleção de limiar
Resultado
ROC AUC 0.757 em mais de 185,000 projetos reservados para teste ROC AUC 0.757 em conjunto de teste reservado com mais de 185,000 projetos
Limite
O modelo serve como ajuda de triagem; um sistema de decisão de financiamento exigiria validação adicional.
Evidência
Repositório público de análise A evidência principal aparece nos links da seção de materiais.
Resultados principais
ROC AUC 0.757 em conjunto de teste reservado com mais de 185,000 projetos
Auditoria de equidade encontra mais omissões em escolas de maior pobreza
Recomenda lista do decil inferior ajustada à capacidade real de revisão