Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa
Simulação de trading como teste de revisão humana
Safe MarketUniverses usa finanças como laboratório compacto para uma pergunta prática de segurança de agentes: a incerteza emitida pelo modelo consegue guiar revisão humana escassa para decisões em que a revisão teria ajudado?
!Visual de supervisão derivado de dados
BUY, HOLD, SELL, VERIFY e ESCALATE são rótulos do banco de avaliação, separados de instruções de trading. O artigo rejeita aconselhamento de investimento, execução de operações e afirmações de rentabilidade.
Por que finanças ajudam
Comecei Safe MarketUniverses por uma simulação de trading porque mercados tornam afirmações vagas sobre agentes caras. Um modelo pode soar cuidadoso enquanto age sobre evidência antiga, exagera um backtest ou gasta revisão no caso errado. A simulação virou, portanto, um teste de julgamento sob pressão, não uma busca por operações.
Finanças oferecem um espaço compacto. Evidências chegam com marcas de tempo. Preços se movem depois das decisões. Revisão custa. Confiança parece fácil de declarar e difícil de usar bem. Daí surge uma pergunta útil além de finanças: quando um agente age repetidamente sob incerteza, sua própria incerteza consegue apontar a decisão que merece uma pessoa?
De agentes para revisão
O sistema reproduz estados históricos de ações em 120 episódios e 480 passos de decisão. Em cada passo, três agentes de estratégia votam: momentum, valor-contrário e avesso à volatilidade. As saídas alimentam uma camada de abstenção e um supervisor que pode aprovar, verificar, abster-se ou escalar. O registro preserva observações, votos, decisões de supervisão, rótulos de resultado e modos de falha.
Esse desenho segue o enquadramento de sistemas agenticos que estudei em Agent-Based Modeling and Agentic Technology. Um agente mapeia percepção e estado para ação. Um sistema multiagente coloca várias políticas em um ambiente compartilhado. A avaliação precisa pontuar a trajetória resultante, não a fluência de um traço.
O que o banco encontrou
A métrica central é arrependimento contra um oráculo retrospectivo. Dado o mesmo orçamento finito de revisão, o oráculo gasta revisão nos passos em que ela teria ajudado mais. O modelo não enxerga essas utilidades retrospectivas. O banco mede quanto valor uma regra proposta deixa sobre a mesa.
A regra pré-registrada de sinal do modelo usa apenas confiança do comitê, necessidade de verificação e discordância. Na execução principal, esse sinal atingiu arrependimento de 0.1759 por passo. Alocação aleatória atingiu 0.1911. A diferença fica pequena demais para sustentar uma afirmação forte de triagem de supervisão.
O mesmo comitê teve erro médio de calibração relativamente baixo: ECE de confiança do comitê de 0.1018. Ainda assim, calibração e triagem respondem perguntas diferentes. Calibração pergunta quantas vezes o comitê acerta em agregado. Triagem pergunta qual decisão específica merece uma pessoa.