AI 使用应当具有纪律性
一、任务完成了,思考没有发生
前段时间我看到一件事。美国一位大学历史学教授在期中考试题目里用白色字体藏了一句话,大意是要求答题者在答案中毫无意义地加入"马达加斯加"这个词。结果班上绝大多数学生的答案里真的出现了"马达加斯加"。这意味着很多学生连 AI 最终生成的答案都没有认真读过,他们把题目复制给 AI,拿到答案,再复制回去,整个过程可能只要几分钟。
从"任务完成"的角度看,这非常高效,作业交了,文字完整,甚至可能比学生自己写的还漂亮。但如果把教育理解成一种能力形成的过程,这件事就有点可怕了:学生完成了任务,却没有经历完成任务所需要的思考。这种模式长期持续下去,表面上的产出会不断增加,一个人自身的能力却可能没有同步增长,甚至可能退化。
这不只是我的猜测。宾夕法尼亚大学的 Hamsa Bastani 等人在土耳其一所高中做过一项近 1000 名学生参与的随机对照实验,论文 2025 年发表在 PNAS 上。结果很有意思:学生在练习阶段使用普通 GPT 时,成绩明显高于没有 AI 的对照组;可当 AI 被拿走、要求独立考试时,这一组的表现反而比从未用过 AI 的学生低了 17%。
更值得注意的是另一组。研究者还准备了一个 GPT Tutor,经过教学设计,只给提示不直接给答案。这一组在练习阶段的提升高达 127%,是三组里最亮眼的,但最终考试成绩和对照组基本持平。也就是说,再好的设计也只是消除了伤害,并没有换来更多的学习。
这个实验让我意识到一个很重要的区别:表现的提高,并不等于能力的提高。甚至存在一种越来越现实的可能,一个人在 AI 的帮助下表现越来越好,同时自身能力越来越弱。这件事背后的记忆机制是 提取时越费力,记得越牢:在提取强度已经掉下去的时候再提取一次,那一次的费力才带来存储强度的增长,而 AI 恰好是在提取变难的那一刻把难度移走了。知识可以很脆弱,因为它不是靠理解装进去的 是同一道裂缝的另一种样子,费曼那些学生能一字不差背出整段,因为那些词对他们只是人造的声音。背得出和想得到之间的距离,和用 AI 能做到与自己能做到之间的距离,是同一段。
二、作品,和产生作品的人
这也解释了为什么 AI 对教育的冲击这么大。
过去,学校通过考试、论文、作业来判断一个学生是否掌握了某种能力。学生为了完成这些任务,不得不读材料、理解概念、组织逻辑、形成观点,再把它们表达出来,最终交上去的那篇论文,只是这一连串认知活动留下的一个结果。今天 AI 可以直接生产那个结果。于是我们第一次需要认真区分"作品"和"产生作品的人":一篇漂亮的论文,已经不能充分证明写下它的人拥有与之匹配的能力。
三、那部五小时的法国大革命电影
这让我想起自己很多年前上学时的一件事。
当时我上政治哲学课,老师会给大量文本和影视材料,然后要求写读后感。有一次讲法国大革命,我完整看了一部将近五个小时的法国大革命电影。那几个小时其实挺辛苦,电影人物很多,场景转换非常快,很多政治派别和历史背景也不容易理解。我一边看一边努力理清国民议会、巴士底狱、人权宣言、王室出逃、吉伦特派、恐怖统治、丹东审判、热月政变之间的关系。看完之后又花时间写了一篇英文评论,写完还不放心,跑去学校的 Writing Lab 找老师帮我改英语表达。整个过程大概花了六七个小时。
前几天我把当年那篇文章翻出来看了一遍。今天回头看,那篇文章当然很稚嫩,里面有很多典型的 ESL 表达,词汇有时用力过猛,某些历史判断也非常粗糙,有些地方今天的我一眼就能看出问题。但让我有点感慨的是,我依然能从那些笨拙的句子里看到当时的自己。
我记得自己被法国大革命浩大的历史叙事震撼,记得我开始对路易十六产生某种复杂的同情,觉得他承担了前代君主长期积累的历史债务。我也记得自己对丹东审判感到非常困惑:电影里前一分钟他还在法庭上雄辩,似乎得到了许多人的支持,几分钟以后却突然被送上断头台。我当时在文章里批评电影只是在排列历史事件,却没有解释为什么这些事件会发生。今天来看,这其实已经是一种很朴素的历史思维,我当时隐约意识到,知道 A 发生以后 B 发生,并不等于理解 A 为什么会导致 B。历史需要因果关系。
现在回过头想,我很庆幸那时候没有今天这种大模型。按照我当年的懒惰性格,如果那时存在今天的 AI,我很可能会把那部五小时电影交给模型,让它十分钟总结剧情、提炼主题、生成观点,再写成一篇漂亮的英文读后感。我大概能省下五六个小时,而且最后交出去的文章很可能比我自己写的更好。但今天我也许不会记得那堂课,更重要的是,我可能失去了一次真正形成能力的过程。使唐僧成为唐僧的,不是经书,是那条取经的路 说的是同一件事,而《庄子》里那个学屠龙的朱先生说的是它的反面。
教育中很多真正有价值的东西,恰恰藏在那些令人烦躁的"低效率"里面。看四个小时以后已经很累却还要坚持看完,写到一半发现自己的观点根本站不住只能重新组织,想表达一个意思却找不到合适的英文,跑去 Writing Lab 被老师指出句子不自然然后自己重新修改。这些在当时都属于摩擦。
AI 最大的诱惑之一,就是能够消除认知摩擦。问题在于,有些摩擦确实毫无价值,比如机械抄写、格式转换、重复整理、低价值的信息搬运,这些事情交给机器很好;还有一些摩擦本身就是能力形成的过程,思考的困难、理解的困难、表达的困难、面对错误的困难,都属于这一类。如果把这些摩擦一并消灭,人会获得一种非常舒服的学习体验,却可能失去成长所需要的阻力。
这一段我要自己顶自己一句。 神笔取走摩擦,乐趣会迁移,不会消失 是我更早写的,讲的正是我用 AI 给这些笔记织网这件事,而那里的判据比这篇准:我把摩擦分成了机械性阻碍(全库检索、查死链、把话写顺)和生成性阻碍(该不该连、我到底怎么想),交出去的是前一种。 这篇文章里"低价值的信息搬运"对"思考的困难"那个区分是事后描述的,那一条给了它名字。而且那一条还认下了一笔这篇没提的账:亲手连一次会改写我自己,读一份别人连好的不会。 见 表达的畅快来自阻碍与阻碍的消除,两条对着读才完整。两个版本的差别在于可用性。 这篇给的是一份例子清单,事后能对上号,事前不太用得上;那一条给的是一个可以当场问的问题:这个动作要是我不做,改变的是产出,还是改变我? 记忆不是存档,而是每次重建 是那笔账的依据,制造那个动作本身就是记忆的一部分。
所以我越来越觉得,AI 时代真正需要建立的是一种 AI 使用纪律。这里的"纪律"并不意味着抵制 AI,也不意味着刻意追求低效率,它更接近一种认知上的边界感:你要知道什么可以交给 AI,也要知道什么必须留在自己手里。
四、一个真实的案件
过去一年我在工作中大量使用 AI,它可以帮我阅读大量文件、比较信息、做法律检索、整理案件、分析策略、起草邮件,效率提升非常明显。但最近发生的一件事,让我对"纪律"这件事有了更具体的理解。
有一个专业案件,官方给出的决定实际上属于部分驳回,一部分项目存在问题,另一部分已经通过。AI 在最开始阅读官方文件时其实正确识别出了这一点。随后我不断往上下文里加入新的材料,包括分类信息、项目清单和其他相关文件,在后面的分析中,AI 错误地把一份"全部项目清单"理解成了"被驳回项目清单"。一个非常小的错误就这样出现了。
更危险的地方在于,这个错误没有让后续分析变得混乱,相反,后面的分析非常完整。AI 开始逐项比较,设计删减方案,研究不同选项,还生成了一封措辞非常专业的客户邮件。最终那封邮件把"部分驳回"写成了"全部驳回",我检查的时候也没有发现。于是客户依据这个错误前提,和我们继续讨论了好几轮,最后决定只保留其中几个项目。
我准备正式处理的时候,突然觉得有一点奇怪。如果他们只想保留这些项目,按照我对案件的理解,这几个项目似乎根本不存在任何障碍,那么审查员为什么一开始会把它们驳回?我重新打开最初的官方文件,答案很快就出来了:客户现在想留下的那些项目,一开始就已经通过,他们根本不需要采取任何行动,什么都不做,过一段时间自然就能拿到结果。
这件事给我的震动很大,它揭示了 AI 工作中一种很危险的错误。很多人仍然把 AI 的错误想象成胡说八道、捏造事实、逻辑混乱,而真正危险的情况往往更加隐蔽:一个底层事实错了,后面的所有分析依然可以非常专业、非常流畅、非常有说服力。甚至分析越复杂,人越容易相信前面的基本事实应该已经被核实过。认知流畅性让熟悉显得真实 给的是这件事背后的实证机制:信息越容易阅读、处理和召回,人越容易把这种流畅感误认成它更可靠,连押韵都会让一句话显得更真,而 AI 输出的默认属性就是流畅。语气和身体不是更重要,是在矛盾时更可信 记的是同一种误判在人身上的样子。可用的一条:检查一份长分析时不要顺着它的逻辑往下读,要跳回最底下那一两个事实单独去核,顺着读是在检验一致性,而这类错误恰恰在一致性上无懈可击。
在这个案件里,我们做了大量复杂的比较和策略分析,却跳过了一个最简单的检查。全部申请项目减去被驳回项目,剩下的自然就是已经通过的项目,五分钟的集合运算就足以阻止后面的全部错误。可是人和 AI 都有一种共同倾向,我们喜欢做复杂的事情,因为复杂容易产生一种"我已经认真处理过"的感觉,真正决定性的简单问题反而容易被忽略。所以复杂在这里不只是没帮上忙,它是那个检查没被做的原因。 然后你就不再想了 是同一台机器在更大尺度上的样子,费曼说让人停止思考的不是恐惧也不是服从,是投入本身,而这一种最难防因为它伪装成美德。官僚思维把所有政治问题化约为行政问题 是它的组织版本,Premortem 让怀疑获得合法席位 和 规划谬误需要外部视角 给的是应对方向,共同点都是不指望人在投入的中途自己想起来,而是安排一个必须停下来的时刻。
五、当"做正确的事"开始有成本
那件事后来还出现了另一个让我思考很久的时刻。
客户已经签好了授权文件,也明确指示我们继续处理,他们并没有发现前面的错误。从操作上看,我完全可以按照客户的指示继续往下做,收取服务费,再等待几个月,结果最终大概率也会成功。客户甚至可能觉得这是一次非常漂亮的专业服务,他们会认为我们经过复杂分析和精细删减以后成功克服了官方障碍。而真正的事实是,如果什么都不做,他们可能更早得到同样的结果。
我当时稍微想了一下。过去一段时间,我每天早上都会读一点斯多葛哲学,里面反复讲一些非常古老的东西,正义、公平、诚实,以及一个人应该按照自己认为正确的方式行动。平时读这些内容,很容易把它们变成精神上的装饰,只有当"做正确的事情"开始产生现实成本时,这些原则才真正变成选择。
最后我决定主动告诉客户。我重新解释了案件情况,承认我们前面的信息存在不准确之处,也告诉他们,现在想保留的项目已经通过,如果愿意,他们完全可以什么都不做,也不需要支付额外费用。邮件发出去以后我其实有一点担心,专业服务行业天然很看重可靠性,主动承认自己前面的判断存在问题,多少会伤害一点专业形象。
第二天早上醒来,我看到客户的回复。他们感谢我们主动说明,也表示即使最后不再采取任何程序,他们依然认可此前我们所做的工作。
这件事最后算是一个比较圆满的结果。但它留给我的真正启示并不在于客户有没有生气,而是让我越来越确定,AI 时代人必须保留几种不能完全让渡的能力。科学的诚实,是把对自己不利的结果也发表出来 里费曼那句在这里格外实在:他把正直当成一件需要运气才能负担得起的事,而不是一件光靠意愿就能做到的事,能不能诚实很大程度上取决于你所处的位置允不允许你诚实。先替对方把指控说出来 和 绝对的坦诚,就没有敌手 是同一个动作的两种记法,主动交出对自己不利的东西,换取那部分不再能被别人当武器,而 建议的可信度取决于建议者承担多少后果 是它在客户那一侧的读法。
六、五种不能交出去的能力
第一种是发现能力。 今天,解决一个已经被清楚提出的问题越来越容易,真正稀缺的东西正在变成"发现什么值得解决"。工作中那个错误最后之所以暴露,并不来自逐字检查 AI 输出,真正让我警觉的是一个异常:如果这些项目根本没有障碍,审查员为什么会这样处理?这种"不对劲"的感觉来自长期形成的领域知识和经验。AI 当然也可以发现异常,而且未来会越来越擅长,但现实世界里可能同时存在一百个异常、一千个问题,人仍然需要决定哪些东西值得关注。
第二种是方向感。 AI 可以沿着一个方向快速前进,问题在于这个方向最初由谁定义。如果起点错了,工具越强,走得越快。现实中很多失败都具有这种结构,大家不断优化方案、提高效率、增加产出,却很少有人停下来问一句:我们究竟为什么要做这件事?然后你就不再想了 里费曼记的是同一件事,理由在最开始是充分的,然后工作变得困难、有趣、令人兴奋,等到东西造出来,那个最初的理由早就没有人再检查了。方向感意味着定义问题、确定目标、划定边界、分配注意力。在一个答案越来越便宜的时代,选择什么问题值得回答,会越来越昂贵。
第三种是逻辑能力。 AI 的语言非常流畅,而流畅会产生一种危险的认知错觉,人会本能地把表达质量和推理质量联系起来。实际上,一段文字完全可以语法优美、结构完整、术语准确,同时建立在一个错误前提上。思想压缩:复杂表达有时意味着理解尚未完成 说的是这条判据的另一头。所以未来逻辑能力的重要性会继续上升,一个人需要能够把事实、前提、因果关系和结论拆开,知道某个结论究竟根据什么得出,哪个条件一旦变化,整个推理就会坍塌。
第四种是判断能力。 很多现实问题没有标准答案,信息永远不完整,时间永远有限,风险也无法彻底消除。AI 可以列出选项,甚至可以估算概率,但最终做决定的人仍然要承担现实后果。独立判断是一件责任风险极大的事 讲的正是那个位置有多不好待,一旦不再照多数或照权威行事,判断错了就没有可以推诿的对象。所以判断能力的核心并不在于"我知道更多答案",它更接近于在不确定环境中,知道什么时候信息已经足够,什么时候应该行动,什么时候应该停止。
第五种是价值判断。 这是最容易被技术讨论忽略的一层。AI 可以告诉你怎样做更有效率,却不能替你决定什么值得做;它可以优化一个商业方案,却不能替你决定某些钱应不应该赚;它可以设计一个极其有效的说服策略,却不能替你决定某些操纵是否越过边界。工匠精神:真正的职业伦理包含不可交易的禁忌 里塔勒布给的说法更硬:有些事情即使能增加利润也不能做,而合同和监管无法写完所有质量问题。学生该不该把 AI 写的文章冒充成自己的成果,企业该不该用效率换取用户隐私,专业人士发现对自己不利的信息以后该不该主动告诉客户,这些问题的底层都涉及价值。技术越强,这一层反而越重要,因为当一个人拥有更强的工具时,他做正确事情和做错误事情的能力都会被同时放大。
七、越依赖 AI,越需要自己有知识
除此之外,还有一种经常被低估的东西,就是领域知识。
有人认为,AI 时代既然随时可以查询知识,人就没有必要再记忆那么多东西。我现在越来越怀疑这种判断。如果一个人脑子里完全没有足够密度的知识结构,他甚至无法意识到 AI 的答案有问题。我之所以能对那个案件产生疑问,是因为我大概知道正常的审查逻辑是什么样;医生之所以会怀疑一份化验结果,是因为他知道这种数字和患者状态之间通常存在什么关系;工程师看到某个计算结果时,会凭经验觉得数量级不对。这些感觉都来自内部已经存在的知识。
所以 AI 时代可能出现一个看起来非常矛盾的现象:AI 知道得越多,人越需要拥有足够的知识,才能安全地使用一个比自己知道得更多的系统。否则很容易形成一个危险循环。知识越少,越依赖 AI;越依赖 AI,越缺少独立形成知识的机会;自身知识越薄弱,就越没有能力判断 AI 是否正确;最后只能进一步依赖 AI。主动给注意力设边界 和 反图书馆用未读之书标记知识的边界 是两种承认这条边界的办法,二十岁就学完当代全部知识,那是可能的 是这个边界还不存在的年代的样子。
这也是为什么我现在重新回忆起当年那部法国大革命电影会感到某种庆幸。那六个小时看起来很低效,但那些时间帮我在脑子里形成了一些东西。我看见人物,感受到情绪,产生困惑,尝试解释,写下不成熟的判断,再接受别人的修改。这些经验后来可能已经忘掉大部分具体内容,却变成了一种内部结构。今天我可以大量使用 AI,某种意义上正是因为过去那些能力已经形成;如果一个人在这些能力形成之前就长期把整个过程外包给模型,结果可能完全不同。
八、教育需要同时测量两种能力
这也意味着,未来教育需要重新设计。
学校很难继续简单地在"完全禁止 AI"和"全面开放 AI"之间二选一,更合理的做法可能是明确区分不同能力的测量方式。有些任务应该明确允许 AI,因为现实工作本来就会使用 AI,未来企业真正需要的也不是一个在真空环境中做所有事情的人,而是一个知道如何与工具协作的人。同时也需要保留一部分明确禁止 AI 的训练和测试,用来确认一个人依然拥有基本的独立阅读、推理、写作和判断能力。
未来教育可能同时测量两种能力。一种是 unassisted capability,没有 AI 的时候你还能做什么;另一种是 AI-augmented capability,拥有 AI 以后你能做到什么。这两个指标都重要。就像计算器普及以后,工程师当然不需要手算所有复杂运算,但如果一个人完全不懂基本数学,他连计算器给出的答案是否离谱都无法判断。
AI 时代的教育,真正困难的地方就在这里:哪些摩擦应该被工具消灭,哪些摩擦必须保留下来,因为能力恰恰通过这些摩擦形成。
九、纪律要写进流程,不能靠自觉
类似的原则也应该进入企业和专业服务机构。
仅仅提醒员工"使用 AI 时要小心",几乎没有意义。人的注意力会疲劳,AI 也会遗忘规则,真正有效的纪律需要被写入流程。比如我那个案件后来就可以提炼出一条非常简单的规则:在处理任何部分驳回之前,先把全部项目、被驳回项目和已通过项目做完整对账,只要这一步没有完成,后面的策略分析就不能开始。
这就是制度化的 AI 使用纪律。它不依赖一个人那天是否足够认真,也不依赖模型是否恰好记住了某条提示。某些关键动作必须发生,某些关键事实必须有来源,某些高风险结论必须人工确认,某些决定必须有人签字负责。把这些东西做成流程以后,所谓"人在环路中"才真正有意义;否则人很容易变成一个象征性的 rubber stamp,AI 生成,AI 分析,AI 推荐,最后人点一下确认,形式上看人依然负责,实际上人已经退出了整个认知过程。代理问题:拍板的人和承担后果的人不是同一个 和 风险对称:收益与损失应落回同一决策者 讲的正是这种形式上负责、实质上脱钩的结构。
十、可以外包工作量,但不能外包主体性
所以我现在越来越觉得,AI 时代最大的风险也许并不来自机器突然拥有人的全部能力。更现实的风险是,在机器逐渐拥有越来越多能力的过程中,人因为方便而一点点退出认知链条。最开始只是让 AI 帮忙改一句话,然后让它总结一篇文章,再让它代替自己读材料,再让它分析问题,再让它给出选择,最后人只剩下按下"确认"的动作。这条路每一步看起来都很合理,累积起来却可能把人的主体性慢慢掏空。
所以我说,AI 使用应当具有纪律性。这种纪律并不要求我们少用 AI,恰恰相反,我以后大概率会比现在用得更多,模型会越来越强,工具会越来越深入地进入工作、学习和日常生活。我们真正需要做的,是建立一种与技术能力相匹配的人的能力结构和社会秩序。
可以把搜索交给 AI,可以把整理交给 AI,可以把很多重复工作交给 AI,也可以让 AI 帮我们推理、反驳、发现问题。但人需要始终知道自己在解决什么问题,为什么相信这个答案,依据来自哪里,哪里可能出错,最终应该怎么做,以及结果由谁承担。
归根结底,我现在对 AI 使用纪律的理解可以压缩成一句话:可以外包工作量,但不能外包主体性。
Links to this note
- 神笔取走摩擦,乐趣会迁移,不会消失
后来我写 AI 使用应当具有纪律性 那篇长文时,讲的是同一件事,但判据给得比这里粗:那边说的是「有些摩擦毫无价值,还有一些摩擦本身就是能力形成的过程」,列了两串例子,事后能对上号,事前不太用得上。 这一条给的问题是可以当场问的:这个动作要是我不做,改变的是产出,还是改变我? 两条对着读,那篇多的是案例和实验证据,这条多…