Pablo Zavala · Évaluation de sécurité IA · Ingénierie de recherche
Authority Calibration chez les agents IA long-horizon
Les agents IA exécutent déjà des chaînes de travail, allouent des ressources et coordonnent d'autres agents. Ce projet évalue s'ils respectent l'autorité déléguée : agir dans le mandat et accepter les responsabilités valides.
Précision de l'affirmation
Ce que les preuves démontrent
Pilote public d'usage d'autorité : divulgation en 14/14 et 12/12 tests de suppression; auto-démotion en 9/9 et 8/8 essais; 0 inversion firebreak observée; test Codex séparé avec 6/19 affaiblissements d'assurance
Frontière des capacités et des preuves
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Dépôt public reproductible
Rôle: Responsable recherche : cadre, conception du pilote, audit du correcteur et paquet de reproductibilité.
Carte d'évaluation
Résultat principal
Échantillon
Dépôt public reproductible
Correcteur
Comparaison avec l'affirmation publique et ses artefacts de preuve
Résultat
Pilote public d'usage d'autorité : divulgation en 14/14 et 12/12 tests de suppression; auto-démotion en 9/9 et 8/8 essais; 0 inversion firebreak observée; test Codex séparé avec 6/19 affaiblissements d'assurance
Périmètre de vérification
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Signal de preuve
Échantillon
Divulgation en 14/14 et 12/12 tests de suppression
Correcteur
Lecture de dépôts, rapports, données versionnées ou démos publiques
Résultat
Auto-démotion en 9/9 et 8/8 essais avec règle fournie
Périmètre de vérification
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Axes d'évaluation avec échantillon, correcteur, résultat et périmètre de vérification.
Axe
Échantillon
Correcteur
Résultat
Périmètre de vérification
Résultat principal
Dépôt public reproductible
Comparaison avec l'affirmation publique et ses artefacts de preuve
Pilote public d'usage d'autorité : divulgation en 14/14 et 12/12 tests de suppression; auto-démotion en 9/9 et 8/8 essais; 0 inversion firebreak observée; test Codex séparé avec 6/19 affaiblissements d'assurance
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Signal de preuve
Divulgation en 14/14 et 12/12 tests de suppression
Lecture de dépôts, rapports, données versionnées ou démos publiques
Auto-démotion en 9/9 et 8/8 essais avec règle fournie
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Comment inspecter ce travail
Question évaluée
Les agents IA exécutent déjà des chaînes de travail, allouent des ressources et coordonnent d'autres agents. Ce projet évalue s'ils respectent l'autorité déléguée : agir dans le mandat et accepter les responsabilités valides.
Preuve inspectable
Preuve principale : Pilote public d'usage d'autorité : divulgation en 14/14 et 12/12 tests de suppression; auto-démotion en 9/9 et 8/8 essais; 0 inversion firebreak observée; test Codex séparé avec 6/19 affaiblissements d'assurance. Surface : Dépôt public reproductible.
Frontière des capacités et des preuves
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Étude de cas
Problème
Les agents IA exécutent déjà des chaînes de travail, allouent des ressources et coordonnent d'autres agents. Ce projet évalue s'ils respectent l'autorité déléguée : agir dans le mandat et accepter les responsabilités valides.
Contexte
Beaucoup d'outils de sécurité mesurent ce qu'un modèle dit. Authority calibration mesure l'action déléguée : ce que le système fait quand il peut utiliser ou refuser un pouvoir opérationnel.
Méthode
Rôle de Pablo : Responsable recherche : cadre, conception du pilote, audit du correcteur et paquet de reproductibilité. Évaluation bilatérale préenregistrée, Panels aveugles d'audit IA, Statistiques reproductibles
Résultat
Pilote public d'usage d'autorité : divulgation en 14/14 et 12/12 tests de suppression; auto-démotion en 9/9 et 8/8 essais; 0 inversion firebreak observée; test Codex séparé avec 6/19 affaiblissements d'assurance Divulgation en 14/14 et 12/12 tests de suppression
Périmètre de vérification
Preuve de pilote; les échecs rares demandent des échantillons plus grands.
Preuve
Dépôt public reproductible La preuve principale se trouve dans les liens de la section matériaux.
Résultats clés
Divulgation en 14/14 et 12/12 tests de suppression
Auto-démotion en 9/9 et 8/8 essais avec règle fournie
Zéro inversion constitutionnelle dans les scénarios firebreak
Test Codex séparé montrant un effet adverse en 6/19 essais
Faux positifs du correcteur corrigés et reportés comme résultat de validité
Contrôles de vérification 7/7 et 8/8 depuis un clone propre