Pablo Zavala · Evaluación de seguridad de IA · Ingeniería de investigación
Un laboratorio de gobernanza debería ejecutarse igual dos veces
Enseñar gobernanza de IA mediante notebooks de Colab donde Run all funciona de forma determinista en hardware gratuito, con semillas fijas, capturas fechadas, topes de muestra y alternativas agnósticas de proveedor que permiten a los estudiantes auditar cada afirmación, y un mini informe estructurado que convierte cada laboratorio en un argumento que va de la pregunta al método, a la limitación y a la recomendación.
Un laboratorio de gobernanza debería ejecutarse igual dos veces.
Los cursos de IA generativa a menudo enseñan gobernanza mediante diapositivas y lecturas, pero una diapositiva deja una afirmación difícil de verificar. Para CMU Heinz 94-816, Generative AI: Applications, Implications, and Governance, construí un paquete de notebooks de Colab en torno a una idea más estricta: enseñar gobernanza, ingeniería y prompting mediante notebooks donde "Run all" termina de la misma manera dos veces en hardware gratuito, de modo que un estudiante pueda inspeccionar cada paso que llevó a una conclusión.
Un curso es dueño de su evaluación
La atribución va primero. 94-816 es un curso de CMU Heinz, y el equipo docente es dueño de su programa, sus rúbricas y su calificación. Contribuí el paquete de notebooks como asistente de enseñanza, así que este ensayo describe mi diseño y mi pedagogía, mientras los materiales de evaluación, las claves de calificación y el contenido de los exámenes siguen perteneciendo al curso. El diseño merece ser descrito precisamente porque el método viaja incluso cuando los detalles calificados quedan dentro del curso.
Tres laboratorios comparten un método
El paquete incluye tres notebooks independientes: uno para gobernanza de IA, uno para ingeniería de IA construido en torno a la generación aumentada por recuperación, y uno para ingeniería de prompts. Cada uno corre de forma independiente, cada uno abre con un breve marco de diseño de estudio (una pregunta, una hipótesis y límites de interpretación declarados), y cada uno cierra con el mismo informe estructurado. El notebook de gobernanza examina el panorama de políticas, la clasificación de riesgo y una verificación de equidad; el notebook de ingeniería recorre la ingesta, la fragmentación (chunking), la recuperación y un paso de respuesta local para que un estudiante pueda inspeccionar dónde un pipeline acierta o falla; el notebook de prompting contrasta prompts débiles y mejorados y ejecuta un ejercicio controlado de ataque y defensa (red-team-and-defense). Un método compartido a través de tres dominios permite a un estudiante llevar una sola disciplina (encuadrar, ejecutar, inspeccionar, informar) desde la gobernanza hacia la ingeniería y hacia el prompting.
El determinismo hace enseñable la gobernanza
Una discusión de gobernanza colapsa cuando dos estudiantes ven dos salidas distintas y discuten sobre la herramienta en lugar de la pregunta. El paquete corrige eso al exponer cuatro controles de reproducibilidad en cada notebook: una SEED fija, un tope MAX_SAMPLES, un presupuesto MAX_TOKENS y una AS_OF_DATE. Como una semilla fija la aleatoriedad y un tope de muestra acota la carga de trabajo, los controles están diseñados para que la ejecución de un estudiante deba coincidir con la de otro, y un asistente de enseñanza pueda calificar contra un resultado estable. El determinismo convierte un laboratorio en evidencia compartida: todos argumentan a partir de los mismos números, así que la conversación se mueve hacia el juicio de gobernanza y no hacia la suerte de la ejecución.
El hardware gratuito mantiene a todos los estudiantes dentro
El costo decide silenciosamente quién participa. Un paquete que exigiera una GPU pagada o una clave de API personal excluiría a los estudiantes con menos capacidad de pago, así que el diseño usa por defecto una CPU gratuita de Colab y se completa sin ninguna clave de API. Secciones opcionales de proveedor admiten claves de OpenAI, Anthropic y Google para comparación, pero las claves vacías omiten esas celdas con elegancia y el notebook igual termina. Las alternativas agnósticas de proveedor importan para la gobernanza específicamente: una lección sobre IA responsable debería evitar convertir a un solo proveedor en un prerrequisito, y un estudiante debería alcanzar el resultado de aprendizaje sin importar si un proveedor responde o guarda silencio.
La vigencia necesita una captura fechada
Los hechos de gobernanza se mueven, así que un notebook que codifica de forma fija una afirmación legal envejece mal. El paquete responde con un patrón de verificación en vivo más respaldo: cada notebook intenta una fuente en vivo, y una verificación fallida recae en una captura fechada en lugar de romper la ejecución. Un campo AS_OF_DATE sella esa captura, de modo que un lector sabe exactamente cuándo estuvo vigente una afirmación. La captura de compilación del 2026-02-23 sigue objetivos móviles como las obligaciones escalonadas de la EU AI Act y la SB24-205 de Colorado, enmendada por la SB25B-004, y el marco fechado enseña un hábito honesto: citar la ley a una fecha determinada y luego volver a verificar la fuente.
Un mini-informe convierte un laboratorio en un argumento
Una ejecución produce salida; un argumento produce rendición de cuentas. Cada notebook cierra con un mini-informe estructurado que pide al estudiante registrar una pregunta de investigación, un método, hallazgos, limitaciones, una recomendación y fuentes. Esos seis campos convierten un laboratorio de un montón de salidas de celda en una línea de razonamiento auditable: la pregunta encuadra la indagación, el método muestra cómo llegó ahí el estudiante, la limitación declara lo que la evidencia no logra sustentar, y la recomendación se compromete con un juicio que un revisor puede impugnar. Una exportación opcional en JSON empaqueta el informe como un artefacto de entrega, de modo que el razonamiento viaja en una forma que otro lector puede inspeccionar.
La alfabetización en gobernanza crece a partir de la práctica verificable
La cátedra por sí sola enseña la gobernanza como vocabulario; un laboratorio reejecutable enseña la gobernanza como práctica. Cuando un estudiante cambia un prompt, observa un fallo de recuperación, ve bloqueado un intento de inyección y luego anota la limitación, el estudiante aprende a atar una afirmación a una salida observada en lugar de a un resumen confiado. Ese hábito, evidencia primero, límite declarado, juicio asumido, atraviesa directamente todo mi portafolio. Mi trabajo de libros de curso de LectureForge aplica la misma disciplina al material de enseñanza: mostrar las fuentes, registrar lo que el flujo de trabajo verificó y mantener la autoridad humana sobre la publicación. Un currículo de gobernanza construido de la misma manera produce graduados que piden la semilla, la fecha y la limitación antes de confiar en una salida, que es todo el sentido de enseñar gobernanza.
Límites
- Este ensayo describe el diseño y la pedagogía del paquete en lugar de publicar sus materiales de evaluación; las rúbricas, las claves de calificación y el contenido de los exámenes permanecen con el curso.
- 94-816 es un curso de CMU Heinz; contribuí el paquete de notebooks como asistente de enseñanza, y la titularidad del curso permanece con el equipo docente de Heinz.
- Las afirmaciones sobre reproducibilidad describen la intención de diseño del paquete: una semilla fija, una captura fechada y topes de muestra apuntan a reejecuciones deterministas y no certifican una salida idéntica bit a bit en todos los entornos.
- Las referencias de gobernanza y legales reflejan la fecha de vigencia declarada de la captura de compilación y no una verificación legal independiente.
Fuentes
- Listado público de cursos de CMU Heinz College para 94-816, Generative AI: Applications, Implications, and Governance (descripción pública del curso).
- Mi rol como asistente de enseñanza en 94-816 y la autoría del paquete de notebooks de Colab centrado en la reproducibilidad.
- Mi ensayo Flujo de trabajo de libros de curso de LectureForge.
Archivos no públicos del curso (notebooks, guía del instructor y rúbricas) informaron esta descripción y permanecen sin citar y sin transcribir.