Pablo Zavala · Evaluación de seguridad de IA · Ingeniería de investigación
Simulación de trading como prueba de revisión humana
Safe MarketUniverses usa finanzas como laboratorio compacto para una pregunta práctica de seguridad de agentes: si la incertidumbre emitida por un modelo puede orientar revisión humana escasa hacia las decisiones donde la revisión habría ayudado.
!Visual de supervisión derivado de datos
BUY, HOLD, SELL, VERIFY y ESCALATE son etiquetas del banco de prueba, separadas de instrucciones de trading. El artículo rechaza asesoría de inversión, ejecución de operaciones y afirmaciones de rentabilidad.
Por qué las finanzas ayudan
Empecé Safe MarketUniverses desde una simulación de trading porque los mercados encarecen las afirmaciones vagas sobre agentes. Un modelo puede sonar cuidadoso mientras actúa sobre evidencia vieja, sobreinterpreta un backtest o gasta revisión en el caso equivocado. Por eso la simulación se volvió una prueba de juicio bajo presión, no una búsqueda de operaciones.
Las finanzas dan al banco de prueba un recinto compacto. La evidencia llega con marcas de tiempo. Los precios se mueven después de las decisiones. La revisión cuesta. La confianza parece fácil de declarar y difícil de usar bien. De ahí sale una pregunta útil más allá de finanzas: cuando un agente actúa repetidamente bajo incertidumbre, ¿puede su propia incertidumbre señalar la decisión que merece una persona?
De agentes a revisión
El sistema reproduce estados históricos de acciones en 120 episodios y 480 pasos de decisión. En cada paso votan tres agentes de estrategia: momentum, valor-contrario y averso a volatilidad. Sus salidas alimentan una capa de abstención y un supervisor que puede aprobar, verificar, abstenerse o escalar. El registro conserva observaciones, votos, decisiones de supervisión, etiquetas de resultado y modos de falla.
Ese diseño sigue el marco de sistemas agenticos que estudié en Agent-Based Modeling and Agentic Technology. Un agente asigna percepción y estado a acción. Un sistema multiagente coloca varias políticas en un entorno compartido. La evaluación tiene que puntuar la trayectoria resultante, no la fluidez de una traza.
Qué encontró el banco de prueba
La métrica central es arrepentimiento frente a un oráculo retrospectivo. Dado el mismo presupuesto finito de revisión, el oráculo gasta revisión en los pasos donde habría ayudado más. El modelo no ve esas utilidades retrospectivas. El banco mide cuánto valor deja sobre la mesa una regla propuesta de revisión.
La regla prerregistrada de señal del modelo usa solo confianza del comité, necesidad de verificación y desacuerdo. En la corrida principal, esa señal alcanzó arrepentimiento de 0.1759 por paso. La asignación aleatoria alcanzó 0.1911. La brecha resulta demasiado pequeña para sostener una afirmación fuerte de triaje de supervisión.
El mismo comité tuvo error de calibración promedio relativamente bajo: ECE de confianza del comité de 0.1018. Sin embargo, calibración y triaje responden preguntas distintas. La calibración pregunta cuántas veces acierta el comité en agregado. El triaje pregunta cuál decisión concreta merece una persona.