Pablo Zavala · AI 安全评估 · 研究工程
流畅性陷阱：当 AI 产出替代人力资本
当系统强化判断时，AI 会帮助人。当打磨后的输出替代验证、写作、推理和认知习惯时，它会变成流畅性陷阱。
当 AI 辅助人的判断时，它会加快工作。当 AI 取代形成判断的习惯时，它会削弱人。这就是流畅性陷阱：用户得到打磨后的产出，感觉自己在进步，却逐渐交出那些让产出真正有意义的实践：验证、写作、推理和认知深度。
大型语言模型可以生成连贯、有用的语言。它们从大规模语料中提取、重组并处理模式，给出看起来很有回应性的答案。因为语言本身就是规则和抽象构成的框架，流畅文本会像扎根现实的智能，即使它仍然只是现实的一种抽象。
这种幻觉很重要。当一个模型听起来像有能力的人，用户就会开始把它当成有能力的人。在商业、政府、教育和个人工作中，只要决策可能带来不可逆成本，这种信任就会变得危险。
替代会把辅助变成依赖
学生和工作者可以通过 AI 获得真实生产率。正因为收益真实，替代更容易被合理化。危险从工具停止扩展用户的认知过程、转而执行这个过程时开始。答案看起来已经完成，验证随之消失。
当人缺少判断正确性的背景并直接接受输出时，生产过程在被验证之前就成了黑箱。AI 输出通常仍然可以解释和检查，所以紧迫任务是保留验证习惯，不让便利性摧毁它。
能力会被便利性侵蚀
有创造力的人可以用 AI 扩展创造力。同一个界面也会教出更弱的习惯：如果模型产出看起来比我更好，我的努力就显得没有必要。
在学习中，风险尤其清楚。学生可以让模型给出关于陌生领域的成熟答案。问题看起来解决了，人却没有发展。计算器展示了同样逻辑：它可以做乘法，但只有练习会建立乘法概念。正确答案仍然可能无法训练人。
AI 依赖是一种人力资本选择
必须区分任务完成和人的发展。通向答案的过程之所以有价值，是因为它让人更有能力。把 LLM 当成人类认知过程的替代品，会对使用者的发展施加成本。
即时收益很明显：更快的草稿、更干净的代码、更好的总结和完成的工作。延迟成本更安静：更弱的写作、更弱的推理、更弱的校准，以及更弱的质量批判能力。
尝试、批判、验证
每个人都应该理解模型为什么任务而设计和测试。模型卡、失败模式和任务匹配很重要，因为它们迫使用户把流畅性映射到可靠性。
个人框架应该包含可重复的验证痕迹。把引入的主张标记为已验证、可信但未验证，或推测性。要求模型提出反驳、缺失假设和证伪测试。先把模型用作对手，再把它用作生产者。
在学习、写作和推理语境中，用户应该先尝试任务。随后模型可以批判、挑战、解释并帮助验证。这样，认识责任仍然留在人身上。
设计应该保护发展
当学习是目标时，AI 系统应该让跳过认知变得更难。发展配置可以先要求用户尝试，再提供批判、反驳、缺失假设和验证提示，最后才显示最终答案。
研究支持这个担忧。Bastani et al. 发现，缺少学习护栏的生成式 AI 提高了辅助练习表现，却伤害了后续学习；护栏改变了结果。OECD Digital Education Outlook 2026 区分了教学支持和任务外包。Stadler et al. 发现，LLM 降低心智努力，同时削弱科学探究任务中的深度。
政策应该把判断力当作基础设施
AI 公司会受到短期指标奖励：参与度、留存、速度和感知质量。这些指标偏好快速、自信的答案，即使这些答案替代了用户的认知过程。
人类判断力是战略基础设施。批判性思维、写作和判断，是社会抵抗操纵、错误传播和制度脆弱性的集体防御。
测试标准是明天的能力
AI 采用只有在保护人类理解、判断和认知深度的过程时才算通过测试。一个社会可以继续生产流畅输出，同时失去发现错误、抵抗操纵、并在不确定性中做高风险决策的能力。
更好的默认均衡很清楚：AI 加快生产，同时保护人类理解、批判和改进 AI 产出的能力。
衡量 AI 进步，要看它在人身上生产了什么，也要看它为人生产了什么。
今天的表现，明天的能力。