Pablo Zavala · Évaluation de sécurité IA · Ingénierie de recherche
Un atelier de gouvernance devrait s'exécuter de la même façon deux fois
Enseigner la gouvernance de l'IA à travers des notebooks Colab où Run all fonctionne de façon déterministe sur du matériel gratuit, avec des graines fixes, des instantanés datés, des plafonds d'échantillons et des solutions de repli agnostiques au fournisseur qui permettent aux étudiants d'auditer chaque affirmation, et un mini-mémoire structuré qui transforme chaque atelier en un argument allant de la question à la méthode, à la limite, puis à la recommandation.
Un atelier de gouvernance devrait s'exécuter de la même façon deux fois.
Les cours d'IA générative enseignent souvent la gouvernance à travers des diapositives et des lectures, mais une diapositive laisse une affirmation difficile à vérifier. Pour le cours 94-816 de CMU Heinz, Generative AI: Applications, Implications, and Governance, j'ai construit un pack de notebooks Colab autour d'une idée plus stricte : enseigner la gouvernance, l'ingénierie et le prompting à travers des notebooks où "Run all" se termine de la même façon deux fois sur du matériel gratuit, afin qu'un étudiant puisse inspecter chaque étape qui a mené à une conclusion.
Un cours reste propriétaire de son évaluation
L'attribution vient en premier. 94-816 est un cours de CMU Heinz, et l'équipe pédagogique reste propriétaire de son syllabus, de ses grilles d'évaluation et de sa notation. J'ai contribué le pack de notebooks en tant qu'assistant d'enseignement, si bien que cet essai décrit ma conception et ma pédagogie, tandis que les supports d'évaluation, les clés de notation et le contenu des examens restent la propriété du cours. La conception mérite d'être décrite précisément parce que la méthode voyage même lorsque les détails notés restent derrière le cours.
Trois ateliers partagent une seule méthode
Le pack livre trois notebooks indépendants : un pour la gouvernance de l'IA, un pour l'ingénierie de l'IA bâti autour de la génération augmentée par récupération, et un pour l'ingénierie de prompts. Chacun s'exécute de façon autonome, chacun s'ouvre sur un court cadre de conception d'étude (une question, une hypothèse et des limites d'interprétation énoncées), et chacun se termine par le même mémoire structuré. Le notebook de gouvernance sonde le paysage politique, la classification des risques et une vérification d'équité ; le notebook d'ingénierie parcourt l'ingestion, le découpage, la récupération et une étape de réponse locale afin qu'un étudiant puisse inspecter où un pipeline réussit ou échoue ; le notebook de prompting oppose des prompts faibles et améliorés et exécute un exercice contrôlé d'attaque et de défense en équipe rouge. Une méthode partagée à travers trois domaines permet à un étudiant de porter une seule discipline (cadrer, exécuter, inspecter, rédiger) de la gouvernance vers l'ingénierie puis vers le prompting.
Le déterminisme rend la gouvernance enseignable
Une discussion de gouvernance s'effondre lorsque deux étudiants voient deux sorties différentes et se disputent sur l'outil plutôt que sur la question. Le pack corrige cela en exposant quatre contrôles de reproductibilité dans chaque notebook : un SEED fixe, un plafond MAX_SAMPLES, un budget MAX_TOKENS et un AS_OF_DATE. Parce qu'une graine fixe le hasard et qu'un plafond d'échantillons borne la charge de travail, les contrôles sont conçus pour que l'exécution d'un étudiant corresponde à celle d'un autre, et un assistant d'enseignement peut noter par rapport à un résultat stable. Le déterminisme transforme un atelier en preuve partagée : tout le monde argumente à partir des mêmes chiffres, si bien que la conversation se déplace vers le jugement de gouvernance plutôt que vers la chance d'exécution.
Le matériel gratuit garde chaque étudiant impliqué
Le coût décide silencieusement qui participe. Un pack qui exigerait un GPU payant ou une clé API personnelle exclurait les étudiants les moins capables de payer, si bien que la conception s'appuie par défaut sur un CPU Colab gratuit et se termine sans aucune clé API. Des sections de fournisseur optionnelles prennent en charge des clés OpenAI, Anthropic et Google à des fins de comparaison, mais des clés vides sautent ces cellules avec élégance et le notebook se termine tout de même. Les solutions de repli agnostiques au fournisseur comptent spécifiquement pour la gouvernance : une leçon sur l'IA responsable devrait éviter de faire d'un seul fournisseur un prérequis, et un étudiant devrait atteindre l'objectif d'apprentissage, que le fournisseur réponde ou reste silencieux.
L'actualité exige un instantané daté
Les faits de gouvernance bougent, si bien qu'un notebook qui code en dur une affirmation juridique vieillit mal. Le pack répond avec un motif de vérification en direct plus solution de repli : chaque notebook tente une source en direct, et une vérification en échec bascule vers un instantané daté plutôt que de faire échouer l'exécution. Un champ AS_OF_DATE tamponne cet instantané, de sorte qu'un lecteur sait exactement à quel moment une affirmation était à jour. L'instantané de build du 2026-02-23 suit des cibles mouvantes comme les obligations échelonnées de l'EU AI Act et la loi SB24-205 du Colorado telle que modifiée par SB25B-004, et le cadre daté enseigne une habitude honnête : citer la loi à une date donnée, puis revérifier la source.
Un mini-mémoire transforme un atelier en argument
Une exécution produit une sortie ; un argument produit une redevabilité. Chaque notebook se termine par un mini-mémoire structuré qui demande à l'étudiant de consigner une question de recherche, une méthode, des constats, des limites, une recommandation et des sources. Ces six champs convertissent un atelier d'un amas de sorties de cellules en une ligne de raisonnement auditable : la question cadre l'enquête, la méthode montre comment l'étudiant y est parvenu, la limite énonce ce que la preuve ne parvient pas à soutenir, et la recommandation engage un jugement qu'un relecteur peut contester. Un export JSON optionnel emballe le mémoire comme un artefact de soumission, de sorte que le raisonnement voyage sous une forme qu'un autre lecteur peut inspecter.
La culture de la gouvernance se développe par une pratique vérifiable
Le cours magistral seul enseigne la gouvernance comme vocabulaire ; un atelier réexécutable enseigne la gouvernance comme pratique. Quand un étudiant change un prompt, observe une récupération manquée, voit une tentative d'injection bloquée, puis note la limite, l'étudiant apprend à rattacher une affirmation à une sortie observée plutôt qu'à un résumé assuré. Cette habitude, la preuve d'abord, la limite énoncée, le jugement assumé, traverse tout mon portfolio. Mon travail sur les manuels de cours LectureForge applique la même discipline au matériel pédagogique : montrer les sources, consigner ce que le flux de travail a vérifié, et garder l'autorité humaine sur la publication. Un programme de gouvernance construit de la même façon produit des diplômés qui demandent la graine, la date et la limite avant de faire confiance à une sortie, ce qui est bien tout l'enjeu d'enseigner la gouvernance.
Limites
- Cet essai décrit la conception et la pédagogie du pack plutôt que de publier ses supports d'évaluation ; les grilles d'évaluation, les clés de notation et le contenu des examens restent avec le cours.
- 94-816 est un cours de CMU Heinz ; j'ai contribué le pack de notebooks en tant qu'assistant d'enseignement, et la propriété du cours reste à l'équipe pédagogique de Heinz.
- Les affirmations sur la reproductibilité décrivent l'intention de conception du pack : une graine fixe, un instantané daté et des plafonds d'échantillons visent des réexécutions déterministes plutôt que de certifier une sortie identique bit à bit dans tous les environnements.
- Les références de gouvernance et juridiques reflètent la date d'actualité déclarée de l'instantané de build plutôt qu'une vérification juridique indépendante.
Sources
- Fiche de cours publique de CMU Heinz College pour 94-816, Generative AI: Applications, Implications, and Governance (description publique du cours).
- Mon rôle d'assistant d'enseignement sur 94-816 et ma qualité d'auteur du pack de notebooks Colab axé reproductibilité.
- Mon essai Le flux de travail des manuels de cours LectureForge.
Les fichiers de cours non publics (notebooks, guide de l'instructeur et grilles d'évaluation) ont éclairé cette description et restent non cités et non reproduits textuellement.