Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa

Framework de Otimização de Entrega de Última Milha

Um framework predict-then-optimize para entrega de última milha, construído com Santiago Enríquez como uma dupla equilibrada para a disciplina 94-867 Data to Action da Carnegie Mellon. Modelos de gradient boosting preveem uma estimativa central e um limite no percentil 80 para o tempo de entrega em um conjunto de dados sintético do Kaggle com registros de entrega no estilo Amazon; o MILP de triagem filtra pedidos com base na previsão de cauda, enquanto o MILP de simulação precifica cada pedido pelo risco, segundo um classificador, de não cumprir sua promessa de serviço definida conformalmente. Em simulação dia a dia, a atribuição sensível a risco alcançou 94,8% de desempenho no prazo com 89,4% de cobertura, contra uma linha de base observada de 48,8%.

Precisão da afirmação

O que a evidência demonstra: Em simulação, a atribuição MILP sensível a risco com 240 agentes (peso de risco base alpha = 1) alcançou 94,8% de desempenho no prazo com 89,4% de cobertura, contra uma linha de base observada de 48,8% nos mesmos dados sintéticos de entrega.
Fronteira de capacidade e evidência: Toda taxa em destaque vem de simulação em um conjunto de dados sintético de entrega do Kaggle; o relatório sinaliza a calibração de capacidade como a suposição frágil, e o próprio conjunto de dados permanece fora do repositório público, pendente de revisão de licença, com o README apontando para o download.

Repositório público (notebooks e relatório versionados)

Papel: Dupla com Santiago Enríquez sob uma divisão equilibrada registrada no relatório: Pablo selecionou e implementou a abordagem predict-then-optimize, liderou a análise exploratória e desenvolveu os modelos preditivos; Santiago implementou o código, validou as suposições subjacentes e redigiu o relatório que ambos os autores finalizaram juntos.

Cartão de avaliação

Resultado principal

Amostra: Execuções de cenário em uma amostra de 2.000 pedidos, além de uma simulação de atribuição dia a dia em dados sintéticos de entrega do Kaggle
Avaliador: Taxa no prazo em relação à promessa de 120 minutos, cobertura e utilização de agentes por cenário
Resultado: A atribuição MILP sensível a risco alcançou 94,8% no prazo com 89,4% de cobertura em simulação, contra uma linha de base observada de 48,8%.
Escopo de verificação: Simulação em dados sintéticos; os números de utilização dependem da calibração de capacidade.

Nível de evidência

Amostra: Três notebooks versionados com saídas, além do relatório final em PDF
Avaliador: O leitor reexecuta os notebooks após obter o conjunto de dados no Kaggle
Resultado: Repositório público (notebooks e relatório versionados), com o conjunto de dados externo, pendente de revisão de licença.
Escopo de verificação: Reexecuções de ponta a ponta exigem primeiro o download do conjunto de dados externo.

Afiliação

Amostra: Trabalho de curso de pós-graduação, outubro de 2025
Avaliador: Página de rosto do relatório do curso
Resultado: Carnegie Mellon, 94-867 Data to Action.
Escopo de verificação: Projeto de curso em dupla, e não um sistema em produção.

Página atualizada

Amostra: Esta entrada e sua linha no registro
Avaliador: Revisão do registro de afirmações e fontes do site
Resultado: Julho de 2026.
Escopo de verificação: O conteúdo do repositório pode crescer após esta data.

Eixos de avaliação com amostra, avaliador, resultado e escopo de verificação.
Eixo	Amostra	Avaliador	Resultado	Escopo de verificação
Resultado principal	Execuções de cenário em uma amostra de 2.000 pedidos, além de uma simulação de atribuição dia a dia em dados sintéticos de entrega do Kaggle	Taxa no prazo em relação à promessa de 120 minutos, cobertura e utilização de agentes por cenário	A atribuição MILP sensível a risco alcançou 94,8% no prazo com 89,4% de cobertura em simulação, contra uma linha de base observada de 48,8%.	Simulação em dados sintéticos; os números de utilização dependem da calibração de capacidade.
Nível de evidência	Três notebooks versionados com saídas, além do relatório final em PDF	O leitor reexecuta os notebooks após obter o conjunto de dados no Kaggle	Repositório público (notebooks e relatório versionados), com o conjunto de dados externo, pendente de revisão de licença.	Reexecuções de ponta a ponta exigem primeiro o download do conjunto de dados externo.
Afiliação	Trabalho de curso de pós-graduação, outubro de 2025	Página de rosto do relatório do curso	Carnegie Mellon, 94-867 Data to Action.	Projeto de curso em dupla, e não um sistema em produção.
Página atualizada	Esta entrada e sua linha no registro	Revisão do registro de afirmações e fontes do site	Julho de 2026.	O conteúdo do repositório pode crescer após esta data.

Como inspecionar este trabalho

Preço de risco em vez de médias

Os notebooks preveem uma estimativa central ao lado de um percentil 80 do tempo de entrega; a partir daí, o MILP de triagem filtra pedidos com base na previsão de cauda, e o MILP de simulação precifica cada pedido pelo risco, segundo um classificador, de não cumprir sua promessa de serviço definida conformalmente, de modo que as decisões de admissão e atribuição respondem à incerteza, e não a uma única média.

Artefatos versionados

O repositório guarda os notebooks de linha de base estática, pipeline dinâmico e simulação, com suas saídas, além do relatório final em PDF; enquanto isso, o conjunto de dados de origem do Kaggle permanece externo, pendente de revisão de licença, e o README informa aos leitores onde obtê-lo antes de reexecutar.

Verificação do leitor

Leia toda taxa como uma saída de simulação em dados sintéticos: comece pelas páginas de achados do relatório, depois rastreie a execução de 94,8% no prazo, 89,4% de cobertura até a tabela de cenários do notebook de simulação e suas ressalvas de calibração de capacidade.

Estudo de caso

Problema

Uma rede de entrega que prometia uma janela de 120 minutos a cumpriu em 48,8% dos pedidos históricos, e as médias escondem a cauda: o trânsito, isoladamente, faz o tempo de entrega variar cerca de 46 minutos entre condições leves e congestionadas, e as zonas semiurbanas são as mais lentas, com uma média próxima de 239 minutos.

Contexto

Pablo Zavala e Santiago Enríquez construíram o framework como uma dupla equilibrada para a disciplina 94-867 Data to Action da Carnegie Mellon, trabalhando a partir de um conjunto de dados sintético do Kaggle com registros de entrega no estilo Amazon e dividindo igualmente a modelagem, a implementação e a redação.

Método

Atributos espaciais, temporais e de agente, construídos por engenharia de atributos, alimentam modelos de gradient boosting para uma estimativa central e o percentil 80 do tempo de entrega; o MILP de triagem filtra pedidos com base na previsão de cauda, enquanto o notebook de simulação adiciona um buffer conformal com meta de 90% de cobertura para definir a promessa de serviço de cada pedido, treina um classificador para a probabilidade de cumpri-la, e precifica esse risco no MILP de atribuição; testes KS semanais monitoram deriva temporal, e uma simulação dia a dia reencena as atribuições sob as capacidades de turno dos agentes.

Resultado

Em uma amostra de 2.000 pedidos, a triagem elevou o desempenho no prazo para 80,0% com 21,3% de aceitação, a atribuição estática com 300 agentes equilibrou 84,9% no prazo com 49,8% de cobertura, e a simulação sensível à variabilidade com 240 agentes alcançou 94,8% no prazo com 89,4% de cobertura, contra a linha de base de 48,8%.

Escopo de verificação

Toda taxa vem de simulação em dados sintéticos, e o relatório documenta como a calibração incorreta de capacidade distorce a utilização: uma rodada de calibração reportou 29% de utilização com 100% de cobertura, uma incompatibilidade de escala, e não folga real.

Evidência

O repositório público versiona os três notebooks e o relatório final em PDF; o README credita os dois autores e aponta para o conjunto de dados do Kaggle, que permanece externo, pendente de revisão de licença.

Resultados principais

Desempenho simulado no prazo de 94,8% com 89,4% de cobertura (240 agentes, alpha = 1) contra uma linha de base observada de 48,8%
Um modelo de estimativa central ao lado de uma previsão quantílica do percentil 80 alimenta a triagem MILP, e o MILP de simulação precifica cada pedido pelo risco, segundo um classificador, de não cumprir sua promessa de serviço definida conformalmente
A calibração conformal mediu 94,9% de cobertura empírica contra uma meta de 90% em 14.222 registros temporalmente fora da amostra
A fronteira de cenários abrange triagem (80,0% no prazo com 21,3% de aceitação), atendimento total (244% de utilização implícita) e atribuição estática (84,9% no prazo com 49,8% de cobertura)
Colaboração equilibrada em dupla com Santiago Enríquez, documentada na página de atribuição do relatório

Métodos

Predict-then-optimize
Regressão quantílica por gradient boosting
Calibração conformal
Triagem e atribuição MILP
Simulação dia a dia
Monitoramento de deriva com teste KS