全文

《苦涩的教训》作者，又给大模型堆算力的拥趸上了一课

The Decoder，2026 年 11 月 8 日

要点

图灵奖得主、2019 年那篇影响很大的文章《苦涩的教训》（The Bitter Lesson）的作者 Richard Sutton 在新帖里写道：单靠堆算力不够产生智能。人工智能这门科学需要巧妙的新方法，而且「远没有结束」。
Sutton 此前已经批评过只靠放大语言模型的上限，把合成数据称作「一个大错误」，并主张做带有世界模型、能持续从自身经验里学习的智能体。
他认为真实世界无限复杂，把人类专长当成瓶颈，就无法真正扩大规模。

《苦涩的教训》的发明者，这次给大模型爱好者上了一堂苦涩的课。其他研究者也表示同意。

在最近的帖子里，图灵奖得主 Richard Sutton 说，单靠原始算力不足以产生智能。人工智能科学需要巧妙的新方法，而且「远没有结束」。这条帖子在 X 上引发广泛讨论，说明它戳到了痛处。

在 2019 年那篇著名文章里，Sutton 主张：最终能随算力扩展的通用方法，会打败精巧的、由人类设计的方案。真正重要的是那些能跟着算力一起长大的想法，而不是依赖人类假设的想法。

他现在的立场并不是新的。在更早的表态里，他就批评过只靠放大语言模型的局限。他把合成数据称作「一个大错误」，因为真实世界无限复杂，任何对它的模拟都只是「微观」的。人类专长如果成为瓶颈，就无法真正扩展。

相反，他主张做带有世界模型、能持续从自身经验里学习的智能体。世界远比互联网文本能捕捉到的东西复杂，而今天的语言模型在训练之后就不会再继续学习。需要的是一种不毁掉旧知识的持续学习。

和许多人一样离开 OpenAI、去探索新路径的研究者 Jerry Tworek 把 Sutton 的最新表态放进了上下文。苦涩的教训仍然成立，但投入训练的算力越多，算法就越重要，Tworek 写道。

有些算法能够扩展，有些会走进死胡同，还有许多扩展维度完全没被探索过。Transformer 扩展的阶段性成功，再加上对苦涩教训的误读，「已经奖励黑客了一整代科学家的大脑」。

研究者 Jayden Teoh 补充了另一个角度。他说自己一再看到苦涩的教训反过来卡住学术研究：一些有希望的想法，只因为离它的精神太远就被否定。Teoh 认为这不是 Sutton 的错，而是对他原意的误读。

Teoh 还说，事后看起来不像遵循苦涩教训的想法，后来常常被更干净、更通用的方法取代。这并不让那些想法本身是错的；它们往往是当时推动进展的东西。他希望研究社区不要一看到这类工作就立刻否定。「一个想法不必永远经得起扩展，也可以是对人工智能进展的重要贡献」，Teoh 写道。

Sutton 对新学习方法的呼吁，和 Tworek 对盲目扩展 Transformer 的批评，已经体现在新一波创业公司里。The Decoder 在最新一期 Frontier Radar #5 里追踪到 45 家押注这些空隙的新实验室。

Tworek 自己就在经营其中一家 Core Automation，寻找预训练和强化学习之外的学习算法。把这些创始人团结在一起的——包括创办 Oak Lab 的 Sutton——是他们相信会有更强的人工智能，但怀疑单靠今天这套配方到不了那里。

业界的重要领导人看法很不一样。OpenAI 首席执行官 Sam Altman 认为语言模型的扩展远没有用尽，并指责大模型批评者太确信扩展做不到什么，因而拖慢了整整一代研究者。

他举的证据是：OpenAI 的一个模型最近证伪了一个数学家长久没能攻克的猜想。他认为世界模型是有用的，比如在机器人里，但数据明显支持继续扩展语言模型。

Anthropic 首席执行官 Dario Amodei 的说法类似，把扩展进展称作一道没有尽头的彩虹。作为两家把全部技术路径押在这个赌注上的人工智能公司的首席执行官，Amodei 和 Altman 显然偏向这一边。