Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa

Um Laboratório de Governança Deveria Rodar da Mesma Forma Duas Vezes

Ensinar governança de IA por meio de notebooks Colab em que Run all funciona de forma determinística em hardware gratuito, com seeds fixas, snapshots datados, limites de amostra e alternativas agnósticas de provedor que permitem aos estudantes auditar cada afirmação, e um mini-relatório estruturado que transforma cada laboratório em um argumento que vai da pergunta ao método, à limitação e à recomendação.

março 16, 2026 · 6 min

Um laboratório de governança deveria rodar da mesma forma duas vezes.

Cursos de IA generativa costumam ensinar governança por meio de slides e leituras, mas um slide deixa uma afirmação difícil de verificar. Para o curso CMU Heinz 94-816, Generative AI: Applications, Implications, and Governance, construí um pacote de notebooks Colab em torno de uma ideia mais rigorosa: ensinar governança, engenharia e prompting por meio de notebooks em que "Run all" termina da mesma forma duas vezes em hardware gratuito, para que um estudante possa inspecionar cada passo que levou a uma conclusão.

Um Curso É Dono de Sua Avaliação

A atribuição vem primeiro. 94-816 é um curso da CMU Heinz, e a equipe docente é dona de seu programa, suas rubricas e sua avaliação. Contribuí com o pacote de notebooks como assistente de ensino, então este ensaio descreve meu design e minha pedagogia, enquanto os materiais de avaliação, os gabaritos de nota e o conteúdo das provas permanecem do curso. O design merece ser descrito precisamente porque o método se transfere mesmo quando os detalhes avaliados ficam restritos ao curso.

Três Laboratórios Compartilham Um Método

O pacote traz três notebooks independentes: um para governança de IA, um para engenharia de IA construído em torno de geração aumentada por recuperação, e um para engenharia de prompts. Cada um roda de forma autônoma, cada um se abre com um breve enquadramento de desenho de estudo (uma pergunta, uma hipótese e limites de interpretação declarados), e cada um se encerra com o mesmo relatório estruturado. O notebook de governança investiga o panorama de políticas, a classificação de risco e uma verificação de equidade; o notebook de engenharia percorre a ingestão, a fragmentação (chunking), a recuperação e uma etapa de resposta local, para que um estudante possa inspecionar onde um pipeline acerta ou falha; o notebook de prompting contrasta prompts fracos e aprimorados e roda um exercício controlado de ataque e defesa em equipe vermelha (red team). Um método compartilhado entre três domínios permite que um estudante carregue uma única disciplina (enquadrar, rodar, inspecionar, relatar) da governança para a engenharia e para o prompting.

O Determinismo Torna a Governança Ensinável

Uma discussão de governança desmorona quando dois estudantes veem duas saídas diferentes e discutem sobre a ferramenta em vez da pergunta. O pacote resolve isso expondo quatro controles de reprodutibilidade em cada notebook: uma SEED fixa, um limite MAX_SAMPLES, um orçamento MAX_TOKENS e uma AS_OF_DATE. Como uma seed fixa a aleatoriedade e um limite de amostra delimita a carga de trabalho, os controles são projetados para que a execução de um estudante deva corresponder à de outro, e um assistente de ensino pode avaliar contra um resultado estável. O determinismo transforma um laboratório em evidência compartilhada: todos argumentam a partir dos mesmos números, então a conversa se move em direção ao julgamento de governança, e não à sorte da execução.

Hardware Gratuito Mantém Todo Estudante Dentro

O custo decide silenciosamente quem participa. Um pacote que exigisse uma GPU paga ou uma chave de API pessoal excluiria os estudantes menos capazes de pagar, então o design usa por padrão a CPU gratuita do Colab e completa sem nenhuma chave de API. Seções opcionais de provedor suportam chaves da OpenAI, da Anthropic e do Google para comparação, mas chaves em branco pulam essas células com elegância e o notebook ainda assim termina. Alternativas agnósticas de provedor importam especificamente para a governança: uma lição sobre IA responsável deveria evitar tornar um único fornecedor um pré-requisito, e um estudante deveria alcançar o resultado de aprendizagem quer um provedor responda, quer permaneça em silêncio.

A Atualidade Precisa de um Snapshot Datado

Fatos de governança se movem, então um notebook que embute uma afirmação legal de forma fixa envelhece mal. O pacote responde com um padrão de verificação ao vivo mais alternativa: cada notebook tenta uma fonte ao vivo, e uma verificação malsucedida recorre a um snapshot datado em vez de quebrar a execução. Um campo AS_OF_DATE carimba esse snapshot, para que um leitor saiba exatamente quando uma afirmação estava atualizada. O snapshot de build de 2026-02-23 acompanha alvos móveis como as obrigações escalonadas do EU AI Act e o SB24-205 do Colorado conforme emendado pelo SB25B-004, e o enquadramento datado ensina um hábito honesto: citar a lei a partir de uma data, e depois verificar a fonte novamente.

Um Mini-Relatório Transforma um Laboratório em um Argumento

Uma execução produz saída; um argumento produz responsabilização. Cada notebook se encerra com um mini-relatório estruturado que pede ao estudante que registre uma pergunta de pesquisa, um método, achados, limitações, uma recomendação e fontes. Esses seis campos convertem um laboratório de uma pilha de saídas de células em uma linha de raciocínio auditável: a pergunta enquadra a investigação, o método mostra como o estudante chegou até ali, a limitação declara o que a evidência não sustenta, e a recomendação assume um julgamento que um revisor pode contestar. Uma exportação opcional em JSON empacota o relatório como um artefato de entrega, para que o raciocínio viaje em uma forma que outro leitor possa inspecionar.

O Letramento em Governança Cresce a Partir da Prática Verificável

A aula sozinha ensina governança como vocabulário; um laboratório re-executável ensina governança como prática. Quando um estudante muda um prompt, observa uma falha de recuperação, vê uma tentativa de injeção bloqueada e então anota a limitação, o estudante aprende a atar uma afirmação a uma saída observada, e não a um resumo confiante. Esse hábito, evidência primeiro, limite declarado, julgamento assumido, atravessa todo o meu portfólio. Meu trabalho de livros-texto do LectureForge aplica a mesma disciplina ao material didático: mostrar as fontes, registrar o que o fluxo de trabalho verificou, e manter a autoridade humana sobre a publicação. Um currículo de governança construído da mesma forma produz formados que pedem a seed, a data e a limitação antes de confiar em uma saída, o que é todo o sentido de ensinar governança.

Limites

Este ensaio descreve o design e a pedagogia do pacote, em vez de publicar seus materiais de avaliação; as rubricas, os gabaritos de nota e o conteúdo das provas permanecem com o curso.
94-816 é um curso da CMU Heinz; contribuí com o pacote de notebooks como assistente de ensino, e a titularidade do curso permanece com a equipe docente da Heinz.
As afirmações sobre reprodutibilidade descrevem a intenção de design do pacote: uma seed fixa, um snapshot datado e limites de amostra visam reexecuções determinísticas, em vez de certificar saída idêntica bit a bit em todo ambiente.
As referências de governança e legais refletem a data de atualidade declarada do snapshot de build, em vez de verificação legal independente.

Fontes

Lista pública de cursos da CMU Heinz College para 94-816, Generative AI: Applications, Implications, and Governance (descrição pública do curso).
Minha função como assistente de ensino no 94-816 e a autoria do pacote de notebooks Colab centrado em reprodutibilidade.
Meu ensaio Fluxo de trabalho dos livros-texto do LectureForge.

Arquivos não públicos do curso (notebooks, guia do instrutor e rubricas) fundamentaram esta descrição e permanecem não citados e não referenciados diretamente.