AI 研究者讨论：我们距离递归自我改进有多近？
原文：AI researchers debate how close we are to recursive self-improvement
访谈正文
新一期节目，嘉宾是 John Schulman、Beren Millidge 和 Charlie O’Neill。
我召集了几位我所认识的最有洞见的 AI 研究者，他们都在相对开放的公司工作，因为我想听听前沿究竟在发生什么、接下来又会怎样。
在 YouTube 上观看；在 Apple Podcasts 或 Spotify 上收听。
文字稿
为反对 RSI 的观点做最强辩护
Dwarkesh Patel：
今天，我和三位 AI 研究者朋友聊天，每次和他们交谈我都能学到很多。他们恰好也在一些相对开放的研究机构和公司工作，所以你们可以真正公开地谈论这些事情。和我一起的是 Beren Millidge，他是 Zyphra 的 CTO，这家公司在开发开源模型。John Schulman 是 Thinking Machines 的首席科学家，此前是 OpenAI 的联合创始人，并领导了催生 ChatGPT 的 RLHF 工作。而 Charlie O’Neill 是 Baseten 的模型训练负责人。
我的第一个问题是：如果我们到了 2036 年，并没有数十亿个疯狂的超级智能四处运行、彻底改变了世界，那么最可能的原因是什么？排除外生的政治冲击、战争、或者禁止 AI 之类的因素。2036 年没有成为一个疯狂的异形超级智能世界，最可能的技术原因是什么？
Beren Millidge：
有一个经典的现象，几乎就像莫拉维克悖论一样，我们会想：“如果 AI 能做到这个，那它就会非常了不起。”如果它能解决这些困难的数学问题，如果它能下棋获胜，等等等等……然后它确实做到了这些事，却没有那么大的影响力。显然，它有一定的影响力，但并非一切。
如果这种情况以某种方式持续下去，始终没有真正发生泛化的火花，我认为这可能导致 AI 只是极其擅长人们放进基准测试或环境里的所有东西。但仍然存在某种持续的仿真到现实差距，以某种方式阻碍着一切。我认为这不太可能。实际上，我们已经在实践中从 RL 中看到了这种泛化。但如果元学习的泛化真的难到离谱，再加上我们没能解决持续学习，而且它就是超级困难、不可能……那在这种情况下，这会是我的默认情景。
John Schulman：
我同意这一点。人类现在相对于模型有很多优势。每当新模型出来，它会在其中一些领域追上来。但你最终会被模型较弱的那些地方、判断力较差的那些地方所瓶颈，或者模型无法足够好地自我检查。
有一个循环在不断重复：新模型出来，人们被震撼到，说“就是这个了。这就是 AGI。”但用了一阵子之后，大约一个月左右它就开始显得笨了。这个循环可能就这么一直持续下去。很难预测它会重复多少次。
现在，你并没有看到能力的爆炸式增长，因为当你尝试做研究和工程时，你仍然会遇到足够的瓶颈。即使模型能写出比人多得多的代码，它也不会让你生产力提高 100 倍。所以也许这类循环会比我们预期的更多。
Charlie O’Neill：
对我来说，问题在于“你能放在芯片上的学习器”的全局最优距离 Transformer + RL——基本上就是当前的配方——有多远。人们想象，一旦你有了一个在 AI 研究上比所有人类都更强的智能体，哪怕它只比所有人类强 0.1%，那么你能并行运行数十万甚至数百万个这样的智能体——而且随着芯片速度提升，你能让它们跑得快得多——这个事实将压倒其他所有瓶颈。你最终会在自我改进方面撞上这种非常快速的起飞。
我可以想象，如果我们沿着当前这个范式继续走下去，基本上就是自注意力、RL、扩大 RL 环境的规模……想想摩尔定律发生了什么。我们有一条非常漂亮的直线，它维持了非常非常长的时间。但为了让那个缩放定律持续下去，必须发生许多离散的不连续性和创新。同样的事情也发生在 LLM 上。我们有过这个预训练缩放定律，然后它开始遇到收益递减。然后我们想出了 RL 并解决了那个问题，接着我们又得到了一条新的收益递减曲线，撞上它之后，它又看起来像一条向上走的直线。
所以，如果它需要再来一次那样的不连续性才能解决，我不确定当前用这些 RL 环境训练 LLM 的方法——即使是针对 RSI 的 RL 环境——是否能够发现那个不连续性。如果不能，我们很可能会撞上这条渐近曲线。
Dwarkesh Patel：
但你觉得这个不连续性会比 2012 年以来的任何事情都更难吗？
Charlie O’Neill：
如果我们知道那个答案，我们差不多就有能力实现它了。但也许我们应该区分两种不连续性：一种是给当前范式做加法的，它是累积的——在 RL 之外还有我们必须发现的东西，也许它们有能力在那条直线上把点连起来——或者，还是那个问题，我们距离全局最优有多远？我们是否必须回头把梯度下降和神经网络整个抛弃掉？我不认为，如果你继续扩大当前范式的规模，一个 LLM，无论你运行多少个 LLM，如果那个东西距离太远，它就必然有能力发现它。
Dwarkesh Patel：
唯一的希望其实就在于深度学习就是无法把我们带到一个至少能主导人类研究和人类开发的 AI，包括人类提出新范式等等的能力。或者，我不知道，也许人类也永远不会发现下一种学习架构。但就人类最终有可能发现它而言……但看起来就是……如果你只看 2012 年至今发生的进展，然后你就把它继续外推下去——我知道它一直是由大量算力扩展等等驱动的——如果它就是到不了能够主导人类的地步，至少在研发方面，尤其是在未来几年内，那会很奇怪。
Ryan Greenblatt 最近上了播客。他提出了一个观点，我很好奇你们怎么看。你可以想象，随着 AI 变得越来越有能力，它们能够在模拟上取得进展，而这些模拟会激励它们不仅在 AI 研发上变得更好，而且在一般科学上也变得更好。这是所有实验室都在瞄准的事情，也是许多初创公司在瞄准的事情。
另一个直觉泵是，如果你看 80 年代以来国际象棋机器人的 Elo 分数。Elo 随时间非常线性地增长。但当它们越过人类区间时，有一个巨大的不连续性，从人类专家总能赢 AI，变成人类专家永远赢不了 AI，而这一切就发生在这个 Elo 线性增长的过程中。
我同意你的观点，到目前为止，AI 能力就其最终对世界的经济影响而言，还没有那么大的影响。但那是因为它们相对于人类的 Elo 在缓慢上升。
Beren Millidge：
我同意那会非常令人惊讶。这唯一不发生的办法，就像你说的，是它在某个点之前就以某种方式渐近停滞了。因为在我看来，我们已经相当接近开始越过人类 Elo 分数的地方了。所以我们需要在那之前就渐近停滞。在你提出的这个情景里——我们不知怎么地坐在 2035 年，一切都正常——我认为这是唯一的方式。另一个唯一的方式是对 AI 有某种剧烈的监管。实际上，比起技术上的原因，这在我看来是这个情景最可能发生的方式。
Charlie O’Neill：
我认为研究有不同种类。有自动研究风格的研究，其中目标已经被非常清晰地指定好了，你就是在优化那个目标。我认为每个人都在设想，如果我们继续沿着这条路走下去，让预训练损失下降、让我们的环境上的奖励上升，那就会带来改进。
但也许 Ryan 所谈论的是这种更加开放式的科学，而范式转变所需要的正是这种科学，在这种情况下我们无法明确指定目标，而 AI 也肯定无法明确指定那个目标。对于其中任何一件事，我们在如何指定目标方面都必须非常、非常小心。
Dwarkesh Patel:
也许你的观点是，自 2012 年以来所发生的突破，其本质在于我们发现了……在 2012 年，人们并没有说……我是在假设，我不知道，你们当时在场。或者至少 John，你当时在场。但我当时不在。
Charlie O’Neill:
我当时在上小学。
Dwarkesh Patel:
其实，John，我很好奇想听听你那种历经岁月的智慧，或者说当年身处一线摸爬滚打的智慧。想必，一个重大的突破就是意识到下一词元预测才是……在 2014 年，你不会想到 nanoGPT 的极速跑分才是值得去优化的东西。但既然我们已经进入了这个新范式，你就会想到要在这上面做极速跑分，并让 AI 真正擅长这件事。
但也许还存在下一个值得优化的内层循环，而这是 AI 不会预料到的。存在一个由收入之类构成的外层循环，它最终应该会很强，但它是一个非常缓慢的外层循环。
John Schulman:
事实上，我记得在 OpenAI 早期，我有一种直觉，那就是仅仅最小化对数损失并不能让你获得智能。因为那些重要的部分在损失中只占如此小的一部分，以至于它会被噪声淹没。所以仅仅用下一词元预测来训练一个语言模型，并不能学到你想让它学到的那些有趣的东西。我们需要设计更好的目标，把更多的重点放在重要的事情上。
你可以为此提出各种各样的论证。你可以说：“哦，人类大概并不会学习对我们环境中的一切进行建模。大多数人都无法对他们看过的一个场景做出照片级逼真的复现。所以我们肯定需要一个更好的目标。”但后来事实证明，它就这样奏效了。
Dwarkesh Patel:
正如你指出的，即使在当前的 AI 研究中，后训练基准之类的内层循环，也不一定能转化为用户所喜欢的东西。
John Schulman:
哦，是的。整个领域在很大程度上依赖于泛化，而且很难预测你什么时候会获得泛化，或者什么时候会获得某种分布外泛化。我们知道，如果你在你关心的任务上进行训练，你会做得更好。但最重要的进展往往是那些我们本无权期待的泛化类型。
例如，仅仅从这个非常朴素的下一词元预测目标进行预训练，就能泛化到各种感兴趣的任务，而这些任务需要以某种深层方式理解输入，或者从预训练中学到某种非常罕见、代表性不足的技能。然后还有从这些可验证任务到不太可验证任务的泛化，这也是一种先验上没有理由去期待的泛化类型。
Dwarkesh Patel:
这是一个有趣的问题，因为对于为什么你会看到某种奇点非常迅速地出现——甚至不需要把 AI 进步的输入（不只是 AI 劳动力）扩大规模——一个直觉上的推动是：在你运行每一个 7 位数的实验之前，你都会在 AI 劳动力上花费等量的算力。所以你只是有了你们这些人的自动化版本，花一个世纪的时间去思考该运行什么最优实验，做小规模的消融实验，发展出字面意义上一个世纪分量的理论，甚至追溯到深度学习之前。
在你决定要运行什么实验之前，你正在以极其最优的方式进行实验的准备工作。然后你在实验结束后进行一个世纪的思考，分析发生了什么，以及下一个要运行的实验是什么。
John Schulman:
如果你思考得足够深入，你大概事先就能预料到其中一些事情。可能存在某种非常巧妙的方式来做一个小规模实验，让你能够建立起随后可以泛化到大规模实验的理论。所以我预计，我们距离研究能做到多好的上限还差得很远。
我会想象这样一个未来：AI 在做大量的分析和理论构建，花费与你在实验本身上所花费的算力相当的算力，进行各种分析，并围绕我们迄今为止所看到的东西构建理论。
Charlie O’Neill:
我认为当目标被明确指定时，这方面有非常具体的例子。思考所能做的，只是根据你形成先验以来所获得的比特来更新你的后验。你无法仅仅通过思考获得任何新的比特。但当目标被明确指定，并且有这些数据摆在那里时，我想在我们目前所处的这个范式中会有一次巨大的加速。
一个很好的例子是，如果你让一个 AI 去思考Kaplan 缩放定律。在这一点上，一个 AI 会注意到：“哦，他们只是取了这些中间检查点，却没有考虑退火，所以这是错的。”这一点本可以在几年前就被发现。仅仅凭借 AI 的这一观察，我们本可以砍掉一两年的进展。
再说一次，一旦目标被明确指定，也就是更低的预训练损失之类的，就有很多很多很好的例子表明，如果你只是再多想一点，你本可以大幅削减你所做过的事情。所以 muP，以及学习率如何随模型规模缩放，并意识到模型宽度在其中也很重要。我觉得你真的可以反推出很多这类东西，并砍掉很多低垂的果实。如果我们的目标只是“最大化我们目前所处的目标”，我会想象有 10 倍的加速。
但我看不出这如何能泛化到一开始就提出正确的目标。仅仅思考并不一定能在一开始就为你带来正确的目标。
Beren Millidge:
我认为对于任何来自当前 AI 的非常快速的递归自我改进来说，这确实是关键问题。AI 能在多大程度上泛化到学习它们自己的目标？要拥有任何一种自我推进的自动化循环，我们需要 AI 提出目标、优化它们、弄清楚这一点、提出一个新目标，并让这在很长很长一段时间内都不会在任何一点上脱轨。
回到莫拉维克悖论，可能存在一种莫拉维克悖论的情况，即我们认为这种自主性和自我封装——也就是我们可以自己思考我们该做什么，然后去做，并拥有这个循环——是超级容易的，因为我们一直都在这么做。显然，进化需要创造出能够长时间独自生存的生物。而这可能恰恰是某种出于某种原因对 AI 来说真的很难的事情，就像运动之类的事情真的很难，而数学超级容易，尽管数学对我们来说超级难一样。
Dwarkesh Patel:
但时间跨度不断增加难道不表明那是——
Beren Millidge:
是的，正是如此。这是另一种可能性，但我同意，没有明显的证据支持这一点。事实上，我们的智能体现在超级持久，而且做到这一点相当容易，这算是反对这一点的证据。但如果这件事很难，这可能会是我们就是得不到这种即时起飞的原因之一。
Dwarkesh Patel:
如果你从 2012 年回顾到现在——或者也许从你开始做研究的时候回顾到现在——在自那时以来发生的所有创新中，包括纯工程性的、包括纯概念性的，哪一部分看起来会是 AI 完全自动化 AI 研发之前人类不得不做的最后一件事？
Beren Millidge:
大概就是迭代地提出正确的问题。如果你能让 AI 做任何实验，你仍然需要决定要做什么实验。目前我认为，与编写实验代码相比，AI 在这方面并不擅长。每当我们谈论研究时，它们会提出一堆杂七杂八的东西，都是非常非常微小的步骤。
Charlie O’Neill:
甚至从 DeepMind 那种“我们将通过学习以超人水平玩游戏来解决智能问题”的方法，转变到像 Radford 这样一个普通研究员的“我要试着只预测非常广泛数据中的下一个词元”……即使 Radford 已经发现了这一点，人们也花了一段时间才决定将其扩大规模，因为我们必须提出缩放定律这个想法，以及你可以非常可靠地预测这些事情这一事实。
John Schulman:
我想说，人类最后的工作，或者说持续时间最长的角色，是定义目标并决定我们真正想要什么。在这个意义上，像决定 AI 助手应该如何表现，或者什么才算有帮助，或者当我们从人类反馈中进行强化学习时目标是什么，就是这类事情。再往后，定义宪法和模型规范是另一件。即使 AI 能完成所有技术工作，我们仍然需要做很多这方面的事，并决定我们真正想要什么。
Dwarkesh Patel:
对齐是最后的工作。
John Schulman:
对齐算是答案。但对齐本身可以分解为目标规范，或者说弄清楚正确的目标应该是什么，然后实际达成或优化你已定义的目标。我认为第一件事短期内不会消失。
如果我思考一个后训练团队以及为什么需要团队里有很多人，那只是因为有很多不同的领域，你必须弄清楚模型应该如何表现。要自动化整个过程会非常困难，因为总得有人去思考模型在这个领域应该如何表现。
是什么在推动中国实验室的进展
Dwarkesh Patel:
为什么模型提供商没有出现大规模整合，这背后的故事是什么？这里有太多指向集中化的因素。如果你把时间拉长到数年来看，会有什么东西阻止这种集中化吗？
John Schulman:
我认为蒸馏是抵抗集中化力量的主要因素。基本上任何可以通过强化学习学到的东西都可以很容易地被蒸馏，因为它只是少量比特。它是你可以从少量数据中学到的东西。如果你能从模型中获得展示某种行为的轨迹，你就能很容易地蒸馏它。我认为蒸馏是抵抗集中化的因素之一。
还有一种可能性是会出现公司专属模型，即可以从部署中学习，让一家公司持续改进自己的模型。这样的系统可以由当前的模型提供商寡头或某个目前较小的公司提供。但我认为这会稍微改变游戏规则。
Beren Millidge:
我还想指出，持续学习，老实说，并不能阻止蒸馏。即使你的模型每天都在改进，人们也可以每天蒸馏它。这个循环可以以同样的节奏运行。
Dwarkesh Patel:
这说得通。所以复制模型行为……我猜你需要自己知道正确的提示分布是什么，才能获得相关的模型行为？
John Schulman:
哦，是的。仅仅用监督学习进行蒸馏，提示分布就极其重要。蒸馏一个模型是非常不平凡的，即使你完全访问它并拥有思维链和一切。从中蒸馏出所有有用的能力是不平凡的，因为你需要用某些东西来提示模型。你需要用真实的提示来提示它。你需要有一个非常广泛的真实提示分布。
最近出现的一件事是，一些中国公司可能正在使用这些路由器服务，这些服务旨在让中国境内的人使用美国前沿模型，否则这些模型在中国会被封锁。有所有这些路由器或代理服务，让中国境内的人使用这些模型，主要用于编程。这些路由器服务正在收集并出售部分数据。这对蒸馏来说是非常有用的数据集，因为它给了你完美的提示分布。
Beren Millidge:
我认为这是 AI 能帮上大忙的事情之一。如果你真的去看前沿流水线，或者他们实际写在论文里的中国模型，他们从某处获得种子提示，这是人类和这类数据的某种组合。然后他们使用现有模型或其他前沿模型，从这些种子提示中合成出广泛的覆盖。你可以自动化大量的提示分布收集和环境创建。随着模型变得更好，人类需要提供的比特越来越少。
Dwarkesh Patel:
但看起来你仍然受限于拥有一个让用户流经的服务。
Beren Millidge:
不一定。那显然非常有帮助，但理论上，你可以直接思考用户想要什么。
Dwarkesh Patel:
但关键在于，用户说：“给我做一个像这样的应用。哦，那没成功。我其实想让你做这个新功能。但其实，让我们退一步做另一件事。”捕捉整个轨迹才是关键。或者，如果你本来就能做到这一点，那你就是在进行递归自我改进了。
Beren Millidge:
最终，如果你有这个完全自动化的循环，那基本上就是递归自我改进。AI 在决定数据，在决定训练。这就是那个循环。但这取决于你需要多少人类信息。在某个时候，如果你只是说：“我想要看起来像这样的轨迹”，你就这样提示模型。模型将能够给出一个相当好的近似。
Dwarkesh Patel:
但如果你想做的是，“让我成为一个真正优秀的政治家”，然后它必须从头预测参议院大厅里的一场讨论会如何进行之类的呢？我只是觉得会有很多事情是——
Beren Millidge:
讽刺的是，这对蒸馏者来说实际上比前沿实验室更容易。蒸馏者只是说：“我想要一个优秀的政治家。”他们去找前沿模型。前沿模型已经知道如何成为优秀的政治家，所以它直接生成那些轨迹。而如果你真的想构建第一个做到这一点的模型，你必须以某种方式获取政治家每天做什么的数据并构建它。实际上，说“我想要像这样的东西”，然后让 AI 产生十亿个变体，比一开始就实际创造出像这样的东西要容易得多。
Charlie O’Neill:
我认为你实际上可以基于中国实验室拥有这些路由器数据这一观察，做出一个非常具体的预测。最初引发这件事的是我说：“Sonnet 5和Opus 5几乎客观上是比GLM-5.3和Kimi K3更差的模型，这难道不奇怪吗？尽管他们不仅能获得蒸馏，还能从Mythos获得logit 蒸馏？”反驳是提示分布真的、真的非常重要。你需要看到用户在做什么，这样你才能把这些行为等蒸馏进去。
我认为由此得出的预测是，前沿实验室现在在强化学习环境方面不一定有多大优势，如果有的话。是的，用户分布对通用行为等很重要，但衡量能力的最佳标准是你在前沿构建的非常、非常困难的强化学习环境。如果你作为 Anthropic 能访问那些强化学习环境，又能访问 logit 蒸馏，却仍然做出了更差的模型，那么也许——
Dwarkesh Patel:
那么现实世界的部署比环境更重要。这真的很有趣。
但他们首先必须在Fable或前沿模型中激励出那些能力。所以他们无法用更小的模型或其他东西再次激励出这些能力，这很奇怪。
Charlie O’Neill:
也许我们只是处在这个奇怪的恐怖谷中，试图过多地复制那个前沿模型，学生-教师差距，不管是什么，就是太大了。人们已经用 Opus 提出了这一点。Opus 4.6和 Opus 5 的区别在于，Opus 5 真的感觉它有这个 AI 作为裁判来检查它所做的每一件可能的事情。这就是为什么它使用这么多词元。它试图思考所有这些东西，但它不一定有 Fable 的大模型气味来知道什么时候停止这样做，或者什么时候是一条好路径。
Dwarkesh Patel:
所及超出所能。
John Schulman:
我想提出一个稍微不同的假设。我想说，你可以创建的环境有几个不同的轴。一个是难度，另一个是真实度。
创建大量困难环境相对容易，这些环境涉及做复杂得多的任务或需要更多聪明才智的事情。你可以说这是基准刷分分布，因为很多最著名的基准只是涉及做一些非常难的、像谜题一样且容易验证的任务。然后是真实度轴，你希望模型在现实的编程智能体环境中表现良好，那里有人类的多次来回交流，有多个目标。
首次塑造模型行为的实验室需要同时向两个方向推进。要获得良好的模型行为，你需要在真实度轴上真正发力，并拥有评分标准或某种人类反馈来为你在那里使用的奖励函数提供信息。但如果你只是天真地做蒸馏，最终只会让模型在基准刷分分布上与教师模型持平。如果你没有足够多的环境来真正锻炼这些更棘手的现实场景中的能力，那么你就无法将这些能力传递到你的学生模型中。
我认为可能正在发生的一件事是，大模型从棘手的狭窄任务到这些更现实的任务的泛化能力更好。如果你有一个非常好的用于蒸馏的现实提示分布，你可以很好地匹配大模型。但如果你只有这种易于验证的任务分布，那么你可以在所有基准上匹配大模型，但在更广泛的分布上表现更差。
这甚至可以解释一些较小的Anthropic模型的情况，比如Sonnet 5，尽管很难准确预测他们在后训练这些模型时做了什么。也可能是因为他们一直在改变后训练技术栈，只是在其中一些模型上搞错了几件事。我不知道……他们把某个东西调得太高了，产生了一些人们非常不喜欢的怪癖。后训练很容易以某种在基准上不显示的方式搞砸。
Beren Millidge：
还有一个非常基本的点是，前沿AI实验室都从大数据公司购买所有数据。中国也可以从数据公司购买同样的数据。
Dwarkesh Patel：
而且他们确实在这么做，对吧？
Beren Millidge：
而且他们确实在这么做。没错。很多人对此感到恼火，但如果他们拥有完全相同的数据并且能买到，他们也可以蒸馏。这意味着保持跟进其实相当容易。
自动化AI研究员将如何被训练
Dwarkesh Patel：
我还有一个问题是，第一批能够自动化AI研发的模型实际上将如何被训练。有一个简化版本，就是Ryan谈到的那种。你只是让GPT-8尝试构建GPT-3规模的模型，这些模型非常擅长内循环类型的挑战：击败需要持续学习的电子游戏，或者用最少的计算量达到某个损失值，等等。
但是John，我认为你有一个有趣的观点，也许实际中不会那样发生。所以我很好奇，当你拥有真正能够自动化AI研发的AI时，它们可能是如何被训练的？
John Schulman：
我们可能会做一些组合：从人类反馈中学习以吸收研究人员的品味，以及创建大量涉及做多步研究项目的练习环境。实践中人们会做这两件事的某种组合，并且在每次迭代中，修补上一次迭代中看起来最糟糕的部分。研究人员会大量使用AI，并注意到它们有一些一致的弱点。这些弱点要么通过收集人类反馈来修补，要么通过创建环境来修补。
Charlie O’Neill：
也许一个有用的思考方式是，我们回滚多少传承，然后从那里让自我对弈进行。在极限情况下，你想象只是给它们一个GPU，也许还有神经网络之类的，然后说：“好吧，弄清楚如何训练一个模型来完成这些特定任务。”目前的工作方式是，我们一直走到传承的最前沿，然后说：“好吧，这是Anthropic在过去几个月在他们的训练技术栈中发现的bug。我们会把这些变成环境。”你需要在前沿上训练并变得更好。所以你显然锁定了传承的所有先前历史。
但你可以想象一个世界，你回滚到GRPO之前之类的。然后你有环境试图让它发现RL模型的最佳形式，然后也许你回滚得越来越远……但我认为我们仍然会受到如此大的计算瓶颈限制，以至于人们只会继续留在前沿，基本上就是把自上一个模型版本以来发现的bug和任何改进进行差异对比，把它们变成训练环境。
Dwarkesh Patel：
这对于在模型代际之间拥有非陈旧的、新的数据也非常好。再次强调，这基本上就是AI实验室内部的持续学习，通过环境和RLHF类的东西将过去三个月的AI研究进展蒸馏回模型本身。
Charlie O’Neill：
而且这确实是蒸馏。这可能就是为什么我们中有些人觉得它是渐近的。你总是只是试图获取过去三个月的进展。当然，AI也在为这些进展做出贡献，但其中仍然有人类在环。感觉就像你只是在不断地越来越接近人类研究人员所发现和能够做到的事情。
Beren Millidge：
不过我要说的一点是，显然如果你只是在轨迹上蒸馏，你永远无法超越它。但环境可以远远超出人类能做到的范围。设计一个没有人能解决但AI显然仍然可以尝试解决的环境非常容易。那将是超越人类AI研究水平的路径。
Charlie O’Neill：
就递归自我改进而言，你有关于什么样的训练集的例子吗？
Dwarkesh Patel：
Nanochat速通，但比人类速通玩家做得更快。
Beren Millidge：
我觉得尤其是在AI研究中，定义目标非常容易。你可以说损失需要达到1.3之类的，现在没有人类能做到。但这是一个极其可衡量、可验证的任务。如果AI做到了，那就太好了。
Dwarkesh Patel：
或者我不知道，构建一个1亿参数的模型来击败Minecraft。那可能太简单了，但击败一个更复杂的游戏之类的。
Charlie O’Neill：
1亿参数的模型击败Minecraft，这难道不疯狂吗？我们却说那太简单了？想象一下如果你五年前这么说。
John Schulman：
我想说很多研究并不完全像那样，即在一个明确定义的目标上进行爬山。它更像是，我们对模型应该如何变得更好有一些直觉。我们也有一些似乎朝这个方向稍微前进的算法想法。所以让我们设计一个任务，旨在展示这种方法有生命迹象，看看我们是否能得到那些生命迹象。如果我们得到了，我们就可以制作越来越现实的任务版本。
Dwarkesh Patel：
它更多是由直觉引导的。内循环是为了测试那种直觉，而不是测试本身导致洞察。
John Schulman：
对。你不是直接优化你最终关心的目标或实际生产目标。你在稍微放松你的目标。你在说：“让我们在真实度轴上稍微放松一点，找到一些实际有效的方法，然后在方法稍微成熟之后，再尝试回到真实度。”
还有更多面向解释事物和发展理论的研究。通常我们在机器学习中没有那么有预测力的数学理论。但我们有很多关于正在发生的事情的更非正式的理论。
Beren Millidge：
想必模型会在所有这些任务的某种组合上进行训练。有些会非常容易验证，有些会是LLM作为评判者，或者只是问人类：“这看起来合理吗？”希望是这些都能泛化到那些更难、更模糊、更不清晰的任务类型。它可能在某种程度上会。它是否能泛化到足以让循环在没有人类参与的情况下自我封闭，这还不清楚。
长时程强化学习会引出通用人工智能吗？
Dwarkesh Patel：
也许退一步说。在我看来，未来AI研究的计划是这样的。你告诉我你是否认为它会奏效，或者你是否同意这种描述。赌注是，我们将在数百万个多样化环境、数百种不同领域中扩大RLVR训练。最终出现的是一个智能体，它已经学会了这些基本技能——或者低于基本技能——关于坚持不懈、能够分类信息和上下文，最终能够端到端优化与其他智能体的协作等等。
这样的智能体在上下文中将非常样本高效——你做过关于如何扩大上下文学习使其任意长的研究，但你继续扩大它。最终出现的东西将基本上像一个即插即用的远程工作者一样，在一周或一个月的时间内运作。
首先，你同意这是实验室正在下的赌注吗？其次，这足够吗？基本上就是在数据中心的这些模拟环境中学习如何学习，然后被部署到现实世界，但实际上并不从现实世界的部署中学习……只是从数据中心的模拟环境中学习这些元技能。
Charlie O’Neill：
我认为现在已经很难分清实验室的努力有多少是直接投向RSI，有多少是投向制造通用智能模型，以便持续部署、获取收入，为下一次大规模训练提供资金。
对于后者，是的，这大概就是他们下的赌注。过去几年这些环境的发展模式非常清楚。Anthropic的一系列环境就是一个非常清晰的例子。首先，我们只专注于编程，我们会在这方面变得非常非常擅长。然后，从编程所获得的任务时间跨度出发——编程大概是就互联网上可用于创建环境的数据而言最容易摘取的果实，再加上他们自己内部可以转化为环境的东西——接下来我们就会泛化。
接下来我们会进入金融领域，在强化学习训练中用到海量的Excel数据和诸如此类的东西。然后是PowerPoint。这就是工作经济的长尾。这看起来效果非常好。很多其他实验室，甚至开源实验室，现在都已经意识到那才是正确的赌注。
Dwarkesh Patel：
但由此得出的推论是什么？当我请Dario上播客时，我问他的问题是：如果你真的预期模型具备像人一样在工作中学习的能力，那你为什么要试图把所有这些使用PowerPoint之类的技能都烘焙进去？你难道不会直接期望模型在部署过程中就能学会这些吗？
有几种不同的解释。一种是我们预期模型很快就会达到那个水平，但还没到，那为什么不把这些技能摊销到模型训练中呢？另一种是我们并不专注于让它在广泛部署的工作中表现出色。我们只是想让它在RSI方面非常出色。这只是我们获取收入的一种方式，以便把钱重新投入到真正擅长做RSI开发的模型中。然后一旦奇点发生，从另一端出来的东西将在所有对当前一代模型来说像是瓶颈的事情上都非常出色。
John，如果路径是这种泛化，那人们应该如何理解为什么这些模型中有这么多任务特定的知识，我不知道你对此有没有看法。
John Schulman：
如果模型在上下文学习方面足够好，那么理论上你就不需要在金融方面训练它们。它们只要能够即时阅读所有书籍，并弄清楚如何在相应的司法管辖区做所有事情就行了。你可以说，你需要做大量这种领域特定的训练，只是为了让它们更高效。即使它们足够聪明，能够即时弄清楚这些，你可能仍然想做一堆强化学习，把所有这些直觉烘焙进权重中，这样模型在运行时会更高效。
在实践中，模型提供商确实似乎在一个领域一个领域地推进，试图在高价值领域加强模型。我会说，这是模型为什么变得好这么多的答案之一。就是因为模型提供商已经覆盖了很多高价值领域和最常见的技能类型。
Beren Millidge：
另一件事是，同时做这两件事并不那么昂贵。模型非常庞大。就参数而言，它们很容易负担得起学习一切。可能存在一些迁移。即使金融不是特定的，这些信息对RSI也很重要。仅仅是关于如何弄清楚什么重要、如何有品味、如何做长跨度工作的通用元学习，就可能是可泛化的。
世界上也没有那么多RSI数据。它很难生成，需要大量努力。所以如果你能摊销这些其他数据，你就能从中获得一些迁移。你已经有大量算力和大量参数空间，那为什么不在明显的商业意图——卖模型——之外也这样做呢？
John Schulman：
我要补充一点，有一个问题是，当前这种从模拟到现实（sim-to-real）的范式是否会永远占据主导地位。你看看现实世界的任务是什么样的。然后你尝试创建一堆可以在数据中心模拟的环境，并可以在上面做强化学习。显然，这非常成功。但它有很多弱点，因为很多事情就是很难模拟，尤其是如果它们涉及与一群真人实时互动。所以有个问题是，从模拟到现实是否会永远成为主导框架。
Beren Millidge：
我认为在样本效率低的时候，从模拟到现实必须是主导框架，因为现在你需要与人类进行成千上万次互动。没有人会坐在那里参与强化学习训练的循环。所以我们现在必须模拟这些，以获得所需的样本。但显然，如果样本效率大幅提高，你会预期从部署中学习会成为其中更大的一部分。
John Schulman：
不过你也可以做其他事情。你可以做离策略学习，这样你可以利用所有轨迹，即使不重新模拟一切，也有可能从中学到东西。
Dwarkesh Patel：
我想多问一些这方面的问题，因为很奇怪的是，你有50%的算力花在推理上，而这些推理并没有直接帮助模型变得更好。你最终会期望数字心智拥有的一个关键优势是，与人类只能获得50年的现实世界经验不同，模型将通过其所有实例，在经济中各种经济相关工作中获得数百万年的部署经验。而现在，这些数据在有意义的意义上并没有帮助模型变得更好。
最终模型应该能够从这些数据中学习，这似乎太明显了。一旦它们做到了，你就会拥有某种几乎感觉像是广泛部署的智能爆炸，因为模型正在从所有这些部署实例中吸收如此多的信息。你预期这种蜂巢思维、疯狂的事情什么时候开始发生？
Beren Millidge：
我认为从广义上讲，在一个非常基本的层面上，这已经在发生了……就在下一代模型中。现在，你显然可以把部署数据放入未来模型的预训练或中期训练中，尤其是如果你做了某种过滤、某种判断、标注或合成的话。
Dwarkesh Patel：
你认为这在多大程度上解释了逐代改进？
Beren Millidge：
我认为它解释了相当多。我不知道实验室是否这样做，因为理论上他们声称不会在用户数据上训练。但中国100%这样做。他们肯定获得了这个优势。这基本上就是蒸馏。他们拿模型，通过向模型发请求获得一部分部署数据，然后用这些数据训练下一代模型。他们当然也可以在自己的模型上这样做。完全没有理由不这样做。
Charlie O’Neill：
我完全同意这一点。如果你把视角拉得足够远，这肯定在发生。我们都在想象的，持续学习的圣杯，是这种非常有机的、实时的循环：单个模型获得经验，当场实时更新并从中学习。当你放大到那种粒度时，很多事情就会出问题。但大型实验室正在这样做。闭源模型正在这样做。
也有早期迹象表明，使用开源模型的人正在以更快的节奏这样做。一个很好的例子可能是Composer。Harvey在法律智能体方面也在做同样的事情。你有某种模型，你从特定任务的数据、用户抱怨的事情，以及你以某种方式从特定部署中提取的所有反馈中，获得非常具体的环境。很多这类公司相对于大型实验室的优势在于，他们可以非常非常好地利用这些数据。
然后他们会创建环境。他们会对Kimi K3做一次大规模后训练。他们会去部署它。他们可能也会做一些在线学习，就像Composer在线做的那样……基本上是长时间的REINFORCE。
仍然有人在循环中。仍然有人说：“好，这些是我们关心的信号。这是我们将如何从现有数据创建环境的方式。”这仍然比你想象的可能要慢，但它确实在发生。最终这个循环会变得越来越快。
Dwarkesh Patel：
Composer那件事很有意思，因为在Cursor中，人们会按Tab或者不按Tab来接受模型建议的下一个补全。基于这一点，每一天，Composer都在更好地预测下一个——
Charlie O’Neill：
那是旧的Tab模型。他们实际上不仅对Tab模型做了同样的事情，对实际的生成模型也做了。
Dwarkesh Patel：
哦，我明白了。有意思。
Charlie O’Neill：
这很难，因为当你做在线强化学习时，你没有分组。你只有一个用户说了一件事，然后你得到一次 rollout。所以你面临一个很大的方差缩减问题。
Cursor 对此的模糊回答是：“我们有非常好的启发式方法，能够估计这个回答比平均水平好多少，或者比平均水平差多少。”然后他们会做一次大的 REINFORCE 更新。对于它是否变差了这个问题，他们的解决方案是：如果它在 CursorBench 上有提升，他们就每五个小时部署一次新模型。如果没有提升，他们就把那个版本扔掉。
John Schulman：
我认为你最大的问题其实只是不知道对于自然数据来说奖励函数应该是什么。如果你使用某种表面的信号，比如他们是否接受了这次编辑，那可能会以某种方式被奖励黑客攻击。
仿真到现实的差距
Dwarkesh Patel：
但这不是仿真到现实（sim-to-real）的一个更大的问题吗？任务的时间跨度越长，就越难在数据中心内模拟。在我看来，即使在编程领域，我们也已经接近这样一个点：不存在某种长达一年的编程任务，最终不需要你与客户交谈、与公司互动或与用户互动。
如果你想想我们希望 AI 能够胜任的全部事情，最终超级智能应该能够经营一家企业，或者创办一家新企业并使其盈利，或者在市场上进行有利可图的日内交易，或者赢得一场官司。这些都是很难在数据中心内模拟的事情。其中学习的一个固有部分就是与真实世界互动。
也许它们通过仿真到现实之间的迁移学会了如何在这些事情上变得更好。但另一种可能是，你确实需要从这类互动中进行权重更新，才能在这些事情上变得更好。如果是这种情况——如果迁移不够强，你确实需要权重更新——那么模型样本效率相当低这一事实可能就是一个更深层的问题。
我对这一点感到好奇的原因是，按照默认情况，我看不出你怎么可能在未来 10 年内不出现某种疯狂的递归自我改进。但这可能不会发生的一个原因是，就权重更新的样本效率而言，模型似乎远远落后于人类。从人类从出生到成年所看到的数据量，与模型从冷启动到完成训练所看到的数据量相比，它们可能比人类落后一百万倍。
这一切都是为了说明，首先，仿真与我们希望 AI 在真实世界中完成的那些极其长期、真正复杂的破事之间，是否会有良好的迁移？如果没有，那是否真的意味着这些模型缺乏样本效率的问题会反噬我们？
Charlie O’Neill：
也许我会把这两类任务——模型变得擅长的任务和模型仍将继续挣扎的任务——的区分方式，归结为任务是累积性的，还是你面对的是一个非平稳分布，你必须不断学习和重新争论一堆东西。
累积性任务的一个例子可能是 RSI。理论上有可能存在一个不到一百万个词元的 Python 文件，它能从零开始训练出一个具备递归自我改进能力的模型。你做出的每一项发现都是一条你坚守的底线。如果对于 RSI 来说，我们不需要发现新的注意力变体之类的，那么一旦你发现了注意力，一旦你发现了专家混合，一旦你发现了 GRPO，你只需把它加入训练栈，它就在那里了。
一个很好的例子是 5.6 Sol 训练、5.6 Terra，或者 OpenAI 告诉我们的它训练的那个。它不必回过头去发现注意力。它基本上会调用一堆脚本，比如 pre-training.sh 和 post-training.sh，然后就这么做了。这就是一个累积性任务的例子。
我认为真实世界——也是人们如此关注持续学习的原因——并不是一个真正的累积性任务。想象在一家律师事务所里，你有一个智能体担任法律助理。那是一个非常非平稳的分布。你必须能够在你的上下文中容纳那家公司所有重要人物之间的所有关系，而这些关系也在不断变化。你还有所有这些关于事情如何完成、在哪里找到信息等等的隐性方式。这不像 RSI 那样是一个干净的累积性任务例子。
我认为任务之间会出现这种分化。但如果实验室们意识到了这一点——而且他们确实相信 RSI 在某种意义上是累积性的，即我们不需要回过头去发现某种全新的架构之类的——那么也许越来越多的努力和算力会被集中在那上面，而不是其他任务上。
Dwarkesh Patel：
RSI 恰好比当律师助理更容易，这真是太不幸了。
John Schulman：
我会说，今天的模型在很多不同方面都比人类弱。其中一些可能与某种特定机制下的样本效率有关。在某些机制下，模型非常样本高效，比如在上下文中学习。但可能还存在某种中等长度的机制，在那里它们的样本效率较低，因为人类能够比模型更高效地进行某种权重更新。我认为在某些机制下样本效率较低可能是弱点的来源之一。
但我认为还有其他与那完全不同的弱点来源。例如，思维多样性低于人类，或者不擅长某些类型的长时程判断。我认为人们所说的品味（taste）很大程度上是关于某种从长远来看行之有效的行为，而且人们已经意识到它从长远来看行之有效。不是全部，但品味的某些方面是这样的。尤其是对于软件工程这样的事情，我认为很多品味就是“哪些系统在这个项目的长期运行中是可维护且运作良好的？”
模型有各种各样的弱点，这些弱点连同其他因素一起限制了 RSI。其中一些与样本效率有关，一些则无关。
Charlie O’Neill：
也许一个有趣的思想实验是这样的。假设你能够给一个模型一个一万亿词元的上下文窗口，或者无论你需要多大的窗口来容纳你在比如说 RLHF 之前的经验。它在上下文窗口中拥有所有那些经验，并且它在百万词元时具有与现在相同的样本效率和上下文学习能力。你认为品味问题就解决了吗？它能够做出与你相同的判断吗？还是说，除了一个具有相同样本效率的更长上下文窗口之外，还有什么根本性的东西缺失了？
John Schulman：
它必须被训练成能从那个上下文中学习。要么它必须被训练成能从那个上下文中做出正确的更新，要么它必须能够泛化。
Charlie O’Neill：
所以你认为你不能只是把它全部倒进去，你的整个人生、你的研究经验？
Beren Millidge：
你仍然需要数据来在长上下文上训练它。即使你理论上能够获得一万亿的上下文，你也需要一万亿长度的数据来训练它。现在你有 10k 的上下文，你不能只是倒进去一百万。
Charlie O’Neill：
是的，我只是在问如果你有那个的话。
Beren Millidge：
理论上，我认为，是的。这实际上只是归结为品味从较短时程的片段中有多可元学习的问题。我觉得没有明显的理由说明它需要超级长，因为人类在并没有很多长片段的情况下，不知怎么地就发展出了品味。我们活不到 10000 岁。我们发展得相当快。
如果你想想即使是一个博士，第一年博士生和最后一年学生或博士后的区别，那大概是五年。他们总共可能只做了 10-30 个研究项目。但不知怎么地，他们从相对较短的一系列小事情中相当快地发展出了品味。理论上，像那样发展出品味是可能的。
AI 显然将拥有多得多的经验来发展品味、来元学习它。那么问题就是它能多好地泛化到真正长时程的事情上，我认为这在目前真的是未解决的。我们不知道。
Dwarkesh Patel：
回到这个问题，最终应该会有一个机制，让 AI 从它们每一次部署的实例中学到大量东西。目前你可以说存在一个模糊的元过程，模型通过它从部署中改进。但我觉得这是一个非常弱的反馈回路。你看到这种非常快速的蜂巢思维式学习出现在地平线上了吗？如果看到了，它究竟是如何发生的？
John Schulman：
我会说，我们是否会得到一个能从其所有部署经验中学习的蜂巢思维，很大程度上是关于激励的问题，而不是一个技术问题。公司不会希望让模型提供商从他们的所有部署中学习，因为那可能只会削弱他们业务的优势。
Charlie O’Neill：
我认为这方面的经济压力会推动的，不一定是向一个大的共同共享模型进行权重更新，而是被替换进来的模块。一个非常明显的例子是 LoRA，但也可能是别的东西。
已经有很多工作试图把任意长度的上下文塞进一个固定大小的空间里。这就是所有线性注意力那一类的东西。还有卡带（cartridges），本质上就是被训练得极度压缩、以便装下大量信息的KV 缓存。这是另一个公司可能愿意买单的例子——如果它能被替换进模型里，而且实际上并不改变底层基础模型本身。
从你的数据中实时学习有很多不同的版本。后面那些版本其实帮不到大实验室，因为它们只是这些模块而已。但我认为经济压力会迫使实验室先走上这条路，然后才能着手这个……
Beren Millidge：
可是，是哪种经济压力呢？我觉得即便你有一堆卡带或者 LoRA 或者别的什么，你仍然可以直接把所有这些轨迹都倒进你下一代模型的预训练里。
Charlie O’Neill：
是的。对大实验室来说，这可能是一种更间接的学习形式。那对他们显然仍然非常有价值。但我无法想象这样一个世界：我们一开始就说，“我们要直接拿我们正在获取的所有确切数据来训练这一个大模型。”
Beren Millidge：
不，我认为它肯定会经历几个阶段，因为这里假设存在一个不连续的事件，突然之间我们就持续地做权重更新了。实际上，我认为更可能的情况是，卡带之类的东西让你能够在部署中做专门化。然后你生成轨迹，把它放进你的模型里，三个月后你推出一个在这方面更强的模型。你再次专门化它，再次整合它，然后最终我们会让这个跨越越来越快。
不再是每三个月发布一个模型，而是每周，然后每天，然后每小时，到那个时点我们基本上就把它解决了。
Charlie O’Neill：
我觉得这也是个好观点，因为你问的是当前范式离能做到这一点还有多远。我们对此做过一些研究，人们也做过大量研究。在非常大的规模上，当你洗掉足够多的噪声、批次足够大时，这种把数据放进中期训练、创建我们自己环境的外循环过程，在某种持续学习的机制下确实有效。
但问题是，当你放大到微观层面看得足够近时——我只有一个模型，我要为一家律师事务所之类的再次更新它，我要用相对少量的数据非常持续地做这件事——所有方法都有点崩溃了。如果我只用成功的轨迹对模型做 SFT，无论是离策略还是在策略，最终在这个非常迭代的机制里，当你做数百次这种微更新时，你会看到灾难性遗忘。你会看到对更早时候在基础模型之上学到的先前信息的遗忘，你会看到通用能力的退化。
在策略蒸馏似乎把这个视界往外推了一点，但它最终仍然会屈服于同样的问题。RL 擅长把能力装进去，但它不那么擅长把知识装进去，尤其是这种非常明确的知识——“啊，好吧，这个人在这家律师事务所做这件事，这是我们发现的一个非常具体的流程。”你得投入大量算力来创建合适的环境，才能用 RL 把知识装进去。
Dwarkesh Patel：
你认为这里的根本问题——为什么你在这些其他技能上会变差，或者为什么会有遗忘——根本上是容量的问题，还是技术的问题？
Charlie O’Neill：
两者都有一点。我认为 SFT 甚至是在策略蒸馏都可能破坏性太强。RL 之所以这么好，是因为它对模型的改变非常非常小。有很多证据说明为什么会这样。它只是在那个非常非常小的损失谷里微调它，把它调到正确的点上。但这也因此限制了你能用 RL 做什么，你实际上能改变模型多少。
Dwarkesh Patel：
所以你是说，这之所以可能不是一个赢家通吃的局面，原因就是要把那么多信息蒸馏进基础模型里实在太难了？
Charlie O’Neill：
在不破坏某些东西的前提下，以迭代的方式做到这一点。
Beren Millidge：
把它蒸馏进一个不同的基础模型是容易的。这就是我认为它主要是技术问题的地方。绝对不是没有容量。如果你有一个拥有所有这些数据的模型，你拿一个字面意义上同样大小的模型，用中期训练里的所有东西从头预训练它，它会更好。我认为这就是今天正在发生的大部分事情。
存在一个很大的瓶颈，阻止我们只是一直训练同一个模型，而不是从旧模型里取出所有数据、从头训练一个新模型。这正如 Charlie 所说：是可塑性和灾难性遗忘的某种组合。如果你只是天真地在非平稳数据上训练，因为你一边训练一边加入新数据，这就扰乱了数据分布，所以旧的东西就被遗忘了。我们其实并没有很好的方法来阻止这种情况发生。
Dwarkesh Patel：
所以也许在极限情况下，你就是受限于用所有这些新信息从头重新训练模型。
Beren Millidge：
是的，而这当然非常昂贵。从头训练一个模型很昂贵。
Dwarkesh Patel：
但反正你都会这么做的。
Beren Millidge：
不一定。也许最终，如果你有持续学习，你就永远不训练新模型了。你只有一个模型，它不断学习和扩展。
Dwarkesh Patel：
但可能有一些深层技术原因让这件事非常困难。
Charlie O’Neill：
这就是问题所在。我认为我们已经把需要从头做的量往后推了不少。现在确实可以拿预训练好的基础模型，在它之上做非常好的中期训练，某种程度上是持续地做，再加上从训练后期不同检查点出发的一些 RL。那看起来更像持续学习了，但它肯定不是那种拿最近的模型、应用几个非常小的更新、然后迭代地永远不丢失任何东西的情况。
Dwarkesh Patel：
抱歉，我有点困惑，因为这难道不就是训练过程中字面上发生的事吗？在后训练之类的过程中，你有一个已经经历了大量训练的模型，然后你蒸馏某个被进一步 RL 过的分支。这不就是字面上发生的事吗？
Charlie O’Neill：
但它仍然是在一个足够大的规模上，我认为，你在洗掉大量噪声，而且你不是只专注于一个分布，而正如 Beren 所说，那才是问题所在。如果你只专注于一个任务——
Dwarkesh Patel：
但在最终的机制里你会做的是……有数十亿个部署实例。你同时从所有实例中学习，所以希望噪声能从中被洗掉一些。
Charlie O’Neill：
也许在那个规模上，是的。
Beren Millidge：
正如 Charlie 所说，你确实可以长时间地做持续中期训练，你也可以回滚到一个检查点并给它新的中期训练数据。但与此同时，你不能无限期地这样做。如果你只是一直持续训练同一个基础模型，它在某个点会渐近饱和。你不能在那个基础模型里一直学新东西。这就是为什么人们最终会训练新的基础模型。否则你就会永远对同一个基础模型做中期训练。
有多少进展可以用数据来解释？
Dwarkesh Patel：
我们现在来谈一点数据。我普遍感兴趣的是这个问题：AI 的进展有多少仅仅可以用数据的进展来解释。这并不意味着它必然难以自动化，但那是另一个问题。是否存在某种数据分布，如果你用它训练当前的架构，就会得到一个在每个领域都完全碾压人类专家的超级智能？
Charlie O’Neill：
我们说的是预训练加后训练数据，还有环境吗？我认为这种东西的存在是显而易见的。问题只在于我们能否创建出正确的环境来达到那里。
Beren Millidge：
在最平凡的情况下，我们可以直接训练它输出那个能训练出真正超级智能的 Python 文件。只要把它记在权重里就行。
Charlie O’Neill：
是的，可能存在一个 RL 环境的阶梯，构造出它就能让你得到一个至少和人类研究员一样好的 AI 研究员。但攀爬每一级阶梯所需的努力大致是指数增长的。这就是你必须权衡的两件事，来决定我们多快会到达那最后一级、在那里它更好。我认为这一点相当清楚。
我们在 RL 环境创建方面还相对处于早期。我们利用了很多不对称性来创建好的环境。我们之前谈过的一个不对称性是，有些环境里往回走比往前走更容易。我的意思是，定义一个复杂的数据生成过程非常容易，而这是你一直对模型隐藏的潜变量。你可以生成任意复杂的环境，模型必须花费大量不可约的词元和不可约的工作来弄清楚那个数据生成过程是什么。
在从真实世界注入信息方面存在不对称性。Anthropic 通过数万人类与大语言模型（LLM）的结合发现一个 bug，然后把它转化成一个非常非常整洁的环境，单个 LLM 理论上可以在几百万词元内找到它。我们正在挑选所有这些不对称性，并指望这种任务视野的泛化。
但我认为它在某个时点就会开始出现收益递减，首先是创建这些环境本身的难度上的收益递减，也就是想出这些环境，因为你未必总能拥有这种往回走比往前走更容易的过程。你实际上必须坐下来，与人类一起构建某种看起来时间视野足够长的东西，而这将是一项非常复杂的任务。然后，智能体实际执行这些任务时还会遇到算力和时间的瓶颈。我认为你只会开始看到这条曲线趋于平缓。
John Schulman：
我看到过一些东西，说有人把 Talkie 模型（它只训练到 1930 年的数据）在现代编码智能体数据上微调。它在 SWE-bench 上比 Claude 3 Opus 表现更好。所以这个对代码毫无知识的模型，可以在中等规模的数据上微调，然后作为编码智能体表现得比这个大得多的预训练模型更好，这相当疯狂。它有点向你表明，一旦你有了正确专家行为的示例，把它复制到一个相对较弱的模型里其实出奇地容易。
Charlie O’Neill：
但有一个反例是最近的一篇论文，他们把模型训练到了五年级数学的水平，还有小学英语之类的，所以它是一个还不错的语言模型。他们尝试用强化学习让它去做高中后期和大学水平的数学。差距实在太大了。他们完全没法让它往上爬。但如果你一级一级地来，先7年级数学，然后8年级数学……以此类推，你显然可以爬到12年级。同样，问题就在于这些梯子上每一级之间的间距有多大，以及创建它们有多难？
Beren Millidge：
这又回到了强化学习信号的问题。强化学习目前并不擅长探索。如果模型在 128 次 rollout 里都做不到，它极不可能获得取得进展的信号。这就是为什么在强化学习中我们需要课程，而在预训练中我们不需要，因为这对预训练来说根本不是问题。
Charlie O’Neill：
同样，预训练数据与后训练数据不同。我想随着我们继续推进，人类参与会越来越少，但这并不改变一个事实：你受限于你能从真实世界中提取多少信号。
世界上有很多信号，这是真的。有人在处理电子表格任务，有人在处理法律任务，诸如此类。但在模型当前所处的能力前沿，世界上究竟有多少比特真正与提升模型能力相关？有多少新的数学问题正在被解决，而它们恰好超出当前模型所能触及或掌握的范围？有多少新的编码问题正在被创造或解决，而它们超出当前模型所能触及的范围？
我认为这就是收益递减开始起作用的原因，因为即便整个世界作为一个整体，也没有给你那些能把你推入下一个能力盆地的有用比特。
Beren Millidge：
我完全同意这一点。这确实是一个信号来自哪里的问题。在预训练中，信号已经在 Common Crawl 里了。对于你在预训练中关心的任务，问题根本不是获取信号。而是过滤掉所有存在的噪声。那是一个相当可自动化的过程。
但随着模型变得更好，随着我们进入中期训练和后训练，信号在我们已有的原始数据中根本不存在于任何地方。再多的过滤也得不到它。Common Crawl 里并没有藏着一个千禧年大奖难题的证明，等着我们过滤到看见它。
到那时，你必须以其他方式获取比特，要么直接来自人类，请他们写出自己的推理，要么通过创建环境，由人类决定应该创建什么环境以及这些环境的目标是什么，要么对部署中存在的真实人类数据进行某种训练。你必须从某个地方获取这些比特。
Dwarkesh Patel：
有一个问题是，预训练中有多少进展是由数据驱动的。我做了这项调查，与我合作的是 Jerry Han，他是普林斯顿的学生，我们把 2019 年至今的所有配方与 2019 年至今的所有数据集两两配对进行训练。你用最新的数据集，比如 Ultra-FineWeb，来训练 GPT-2。你用 Delphi，也就是最新的开源训练配方，在 the Pile 或某个旧数据集上训练。你把整个网格都做一遍。你看，要达到某种能力水平，在这个网格上，能少用多少算力？
你会看到，数据似乎解释了大约 12.0 倍的算力效率提升，而架构改进解释了大约 3.7 倍的算力效率提升，这是在非常小的规模上。如果这在大规模上也成立——即大部分预训练算力效率提升来自更好的数据——那这还能持续多久？你能不断更多地过滤数据、构建越来越多的合成数据吗？你对这种预训练进展还能持续多少有感觉吗？
Charlie O’Neill：
我的先验是，同样，低垂的果实某种程度上已经摘完了。我们得到了互联网这一大块，而互联网未必以同样的速度增长。互联网上所有有用的东西也未必以同样的速度增长。我们可能还剩下一堆 0.1% 的损失下降，但肯定没有目前已发生的那么多。
但同样非常有趣的是，你发现两者合计有 33 倍的改进。我记得是 Epoch 或某个人估计自 2019 年以来每年 3 倍，那将意味着大约 37，超过 2,000 倍的改进。那么缺失的那 100 倍左右来自哪里？这大概能给你一个很好的信号，说明其中有多少来自后训练。
Dwarkesh Patel：
我认为解释必须是，很多算力效率提升是依赖规模的，而我们是从极小的规模开始的。这就引出一个问题：数据算力效率提升和算法算力效率提升，哪一个更依赖规模？我不知道你对此是否有先验。我们只是没有足够的算力去研究这个问题。
Charlie O’Neill：
仅从朴素的理论上讲，架构的规模依赖性相当为人所知，你可以对它拟合一条直线。而对于把预训练加后训练数据以及中期训练数据结合起来，我完全不知道该怎么做到这一点。
Beren Millidge：
说来有趣，我觉得数据实际上随着规模变大而更重要。我觉得架构有点像一次性的事情。
只说 X% 的效率提升有点误导，因为架构所做的是让你达到一个质上全新的体制，那是旧架构无法达到的。在那个体制内，显然数据是决定它的主要因素。
但如果我们连 GQA 都没有，如果我们整天做全注意力，那么做一百万上下文会贵得离谱。正因如此，我们永远无法使用实际上处于一百万上下文的数据，所以我们得不到这些能力。即便你只是朴素地问“这在 2K 上下文下有多大作用”，而架构在那里并没有解锁任何东西，那么数据看起来会比它在某种意义上实际的重要性大得多。我不清楚这些东西是否真的只是以这种方式相乘的增益。
Dwarkesh Patel：
我明白了。那么你对数据的规模依赖性有什么看法？
Beren Millidge：
关于规模依赖性，我认为我们现在拥有的很多中期训练和后训练数据实际上会随着规模变大而变得更好，因为其中很多——那些非常长上下文视野的环境类东西——确实需要大模型才能利用。如果你试图把 1 亿参数的模型训练在 SWE-bench 轨迹上，它不会有什么进展。它不会向你展示出你把一个真正合理规模的模型训练在其上时所能得到的同种改进。
Charlie O’Neill：
现在也很难，因为很多架构改动——你看看 Kimi，比如，或者 DeepSeek——他们做这些架构修改时，不只是想着降低预训练损失，还想着模型在真实世界中会如何被使用。推理效率，在 DeepSeek 模型里拥有某种形式的压缩注意力，未必是围绕某种根本性的权衡改进来设计的。它只是，“好吧，我们在考虑模型会如何被使用。”
Dwarkesh Patel：
我很好奇的一个问题是，为了理解未来，随着我们进入一个更偏强化学习的范式，参数扩展会如何发展。你可以看看开源架构，看看参数扩展得有多快。对于前沿开源模型来说，大概每年翻2倍。以至于连前沿闭源模型都有100B或200B的活跃参数，你认为这还会每年继续翻2倍吗？
还是说，既然我们现在处于一个强化学习范式，你还要节省用于rollout的算力……另外，也许存在某种阈值效应，一旦你有了足够的容量，到那时再任意增加参数就没那么重要了。你们对2030年前沿模型会有多少活跃参数有概念吗？
Charlie O’Neill：
我认为未来几年，因为我们如此专注于为强化学习做越来越长时程的rollout，而推理效率在其中非常重要，所以模型在这方面似乎未必已经饱和。瓶颈仍然是环境。所以我们可能会看到一点平台期。
我有种感觉，Mythos和GPT模型远小于人们谈论的10万亿参数级别。即使只是天真地把它们和开源模型比较，你大概也能反推出这个结论。
大概未来几年，我不会设想参数数量会有巨大增长。但话说回来，这里要权衡的东西太多了。你根据自己有多少预训练数据来决定模型大小，然后还要考虑你必须训练的强化学习环境的难度。理想情况下，你想达到最优点，让你能在手头最难的环境上获得不错的pass@1之类的成绩。让一个更大的模型通过那里就没有意义了，因为那样你只是在支付远超所需的推理成本。
所以很大程度上取决于Mercor和内部团队能以多快的速度扩大他们所训练的强化学习环境的复杂度。
John Schulman：
我预计模型会继续变大，只是因为人们在扩大算力，GPU也在变大。但具体会变大多少，在一定程度上取决于缩放定律，而且方式并不显而易见。
有一点是，我认为数据效率会比人们所用具体架构的算力效率成为更大的驱动因素，因为我们现在正进入高质量预训练数据快要耗尽的范式。这可能会影响你想让模型有多稀疏。
我还认为我们对稀疏性的理解还不够透彻。参数和活跃参数是不同的资源。稀疏性确实增加了一些，但不清楚它是否会无限制地持续增加。可能存在某种最佳平衡点。
有一种论点认为，稀疏性应该会让数据效率变差，因为你可能不得不在多个专家上学习同样的东西，不过这有争议。我认为我们还没有足够好的缩放定律理论，能真正理解稀疏性为什么有帮助、能帮多少，以及它是否会在某个稀疏性水平上趋于平台期。
Dwarkesh Patel：
抱歉，你能具体说明一下数据效率对参数的影响到底是什么吗？听起来你会说应该减少稀疏性，但它对参数缩放还有什么其他影响？
John Schulman：
只是说，在缩放定律下，你并不是在试图优化算力效率。你在架构上有各种可以做的选择。每一种都会给你不同的缩放定律。传统上，你会根据算力看某种包络线。你会看性能与算力的关系，并取最佳模型的包络线。
但如果我们基于数据来做这个决定——我们假设可以花很多算力，所以数据在我们的x轴上而不是算力——那么我们就会得到一组不同的最优点，或者一组不同的处于该前沿上的模型。
Charlie O’Neill：
我也不认为过去几年我们每年都把模型规模翻了一番。人们训练1万亿参数模型至少已经有好几年了。甚至还有一个叫Falcon的开源模型。Periodic Labs的Liam，我想，昨天在Twitter上发帖谈到一个早期实验训练了一个非常非常稀疏的1万亿参数模型。
John Schulman：
那是他们在OpenAI之前、在Google做的事，Switch Transformer。
Charlie O’Neill：
它非常非常擅长知识，但推理很糟糕，因为它太稀疏了。感觉我们至少在1000亿到2万亿参数这个区间里玩了一段时间了。肯定不是这种漂亮的线性增长。
Beren Millidge：
我觉得有两件事。正如Charlie所说，推理效率对强化学习rollout极其重要。这会大大压低活跃参数。
我认为总参数很大程度上也取决于硬件。你确实需要非常高的内存带宽和VRAM容量，才能真正服务数万亿参数的模型。现在，人们还在大量使用H100之类的东西。随着大家转向GB然后Vera Rubin，我们会获得更多能力，以更大规模进行扩展并实际服务和大规模强化学习推理。
数据问题我觉得很有意思，因为天真地说，更大的模型在实际数据点上样本效率高得多。即使你没有让模型饱和，做大也仍然更好，因为更大的模型泛化更好，在相同数据量下能达到更好的损失。现在我认为我们有很多数据，这不是约束。算力才是。所以我们在用更小、推理效率很高的模型。但如果算力不再是瓶颈，可能又会回到更大的模型，它们虽然欠饱和，但因为大得多而具备这种泛化能力。
Dwarkesh Patel：
如果你只看基本的Chinchilla缩放定律，然后只是把参数最大化，它实际上只会把达到相同损失所需的数据量减少很少一点。如果你把参数推向无穷，我认为你需要的数据量下降不到10倍，这只是因为幂律的性质。
Beren Millidge：
但我们现在处于Chinchilla定律中数据过多的一侧。现在我们按照Chinchilla是过度训练模型的。所以我们很容易回到一个点，随着数据耗尽，我们回到Chinchilla最优点，甚至稍微偏向模型训练不足的一侧。
Charlie O’Neill：
但肯定的是，即使有这些上线的新芯片，未来几年我们也会如此受算力瓶颈制约，以至于情况未必会那样。
Beren Millidge：
这实际上取决于你训练算力和推理算力的比例。如果你极度受数据瓶颈制约，而不是算力，你应该做大。如果你极度受算力瓶颈制约，你总是应该做小。你也可以使用计算机生成的合成数据，所以这是那些非常难以预测的事情之一。
John Schulman：
我认为人们一开始花了那么久才搞清楚缩放定律的部分原因是，如果你没把这些事情都做对，你就得不到那么干净的关系。图上那些漂亮的直线掩盖了大量复杂性，即你必须确保以正确的方式缩放每个超参数，或者以可缩放的方式参数化你的优化器，并且在你改变模型规模时不必改变超参数。
Charlie O’Neill：
Bug也有它们自己干净的缩放定律。比如Kaplan忘了余弦退火那件事，或者甚至只是没有考虑嵌入参数，我想。那搞乱了较小模型上的估计，因为嵌入参数在模型中占相当一部分。
为什么强化学习效果这么好？
Dwarkesh Patel：
稍微谈谈强化学习。一年前，很多人在论证强化学习在模型扩展上不会特别成功。John，你写了一篇研究论文，其中指出当你做强化学习时，模型每个回合只学到一个比特。它们学到的是：“我答对了还是答错了？”然后我今年早些时候写了一些博客文章，我说：“这比那还糟”，因为当通过率很低、模型非常不可能答对时，它从强化学习回合中几乎什么都学不到。
但我看今天的模型，它们似乎相当聪明。这似乎是扩大强化学习规模的结果。Beren，你几周前有一篇帖子，试图解释发生了什么。为什么强化学习比人们天真以为的更成功？
Beren Millidge：
我认为强化学习的成功归结于一系列不同的因素。首先，一个稍微被低估的因素是中期训练。我们所看到的强化学习的成功，很大一部分实际上来自于非常非常好的中期训练数据，这本质上是在合成推理数据和那种能让模型为强化学习做好预热的环境上进行预训练。这通常能让模型走完通往最终强化学习检查点的大约80%的路程。
然后强化学习在此基础上所做的，本质上就是微调策略。这也是为什么它不需要像你天真以为的那么多比特的原因之一。它不必从零开始学习所有这些行为。它只需要从这些回合中获取几个比特，而你确实能得到这些比特。我在博客中指出的另一点是，与常规预训练相比，这些比特的信号极其强，这就是为什么你需要强化学习，而不是仅仅在成功的推理轨迹上做监督微调。
Dwarkesh Patel：
因为它恰恰就是关于如何得到正确答案的那些比特。
Beren Millidge：
有两件事。是的，第一，它恰恰就是关于如何得到正确答案的那些比特。但这并不完全是你想的那样，因为在监督微调中，你有一条轨迹。比如说，你有一堆数学推理，然后最后是答案。那个比特仍然在那里。你仍然在答案词元上做监督微调。
重要的是，目标函数忽略了所有其他比特。在监督微调中，你必须尝试匹配模型产生的确切推理词元。你本质上得到了太多关于你正在训练的这个其他模型推理的确切方式的比特。对于强化学习，你只得到一个比特。这意味着那个信号不会被模型拥有的所有其他比特的噪声淹没。
这确实是训练期间信噪比的超级戏剧性提升，这就是为什么强化学习在步数方面如此戏剧性地高效。
Charlie O’Neill：
关于强化学习对模型做了什么，与中期训练或监督微调或其他什么相比，一直有很多争论。每个人都在谈论pass@1会上升，但pass@256会下降。非常罕见的正确推理轨迹会被降权，并被来自更容易推理轨迹的梯度信号所压倒。
我认为现在看待强化学习的简单方式是，如果你有足够大的计算量来采样足够大的组大小——使得你得到一堆正确答案的概率超过某个并非微不足道的概率——那么它就会被加权提升。就Beren的观点而言，中期训练和更多预训练——pass@1，强化学习的起点——随着预训练词元数量的对数而扩展。
Dwarkesh Patel：
我能问一些非常基本的问题吗？那个答案说得通，也许有实证研究表明这就是正在发生的事情。但然后我只是看着模型本身……我不知道发生了什么。也许你可以让我了解一下过去一年AI进步的基础是什么。
也许它只是加权提升了那些无论如何都会进行正确思考的策略。但定性地说，模型似乎变得能力强了很多。也许那里没有内在矛盾。但是，我们如何将这个观点所暗示的强化学习相对较小的影响，与模型似乎正在获得的实际定性能力协调起来？
Beren Millidge：
我想在这里指出的一点是，这并不一定意味着强化学习的影响很小。即使你只有几个比特，并且只少量改变参数，对函数空间——模型学到的输入到输出的映射——的实际影响仍然可能是超级戏剧性的。即使一个比特也能极大地改变你的函数空间。它可以排除一半的假设空间，这是巨大的。
我不认为情况一定是这样：少量的比特、少量的强化学习，一旦你从一个非常好的起点开始，就意味着你在行为上没有戏剧性的影响。至少……不一定。
Charlie O’Neill：
我认为这归结为两件事。第一件事是，每个人都希望强化学习能将这种推理泛化到所有这些不同的领域。我不认为我们一定得到了这种横向泛化。仅仅在数学上训练并不一定让你成为最伟大的程序员。你确实必须在代码环境上做强化学习。
不过，我认为我们确实得到的是长时程泛化。模型只是学会了如何使用更多词元更长时间，并且仍然在某种任务上取得进展。你可以在它们变得越来越长的环境中训练，然后把它们放到一个全新的环境中。是的，它们可能没有泛化出使它们在该环境中表现良好的推理模式，但它们至少泛化了继续该任务更长时间的能力，这与成功相关。有一篇论文叫EdgeBench，它表明模型能够持续工作的时长每三个月翻一番。这是泛化的明确证据。
最后的思考方式是，在预训练中，有量子这个概念。你有一条非常平滑的预训练损失曲线。当你观察模型中发生的事情时，模型正在学习所有这些非常离散的任务，并且有所有这些涌现点，那里存在相变。它没有归纳头，现在它有了归纳头。有数万、数百万，可能数亿个这样的东西。你把它们全部平均在一起，就得到了这条非常平滑的损失曲线。
在某种程度上，类似的事情也发生在强化学习上。正如Beren提到的，有一个非常慢的外循环。我们会训练一个模型，然后对它做强化学习，然后在下一个模型训练迭代中，我们会把一堆这些合成推理轨迹倾倒进中期训练数据中。我们有点像是在为所有这些不同的任务触及所有这些离散能力单元，在单个任务层面上，它可能看起来像一个相变。你突然从某个特定金融任务或Excel任务或其他什么任务的0.5%通过率跳到90%通过率。
但你把所有这些事情平均在一起，再加上视野泛化，你有点会说：“哇，我们得到了定性上更好的模型。”
Beren Millidge：
我认为这其中很多也只是……强化学习确实会泛化一点。你在数学和代码之间，或者谜题和数学之类的东西之间得到一些迁移。而且，人们针对的环境数量也大大增加了。以前，两年前，当你尝试做日常生活中的某个任务时，实验室并不会真正关心这个。他们不会为此训练模型。现在范围广泛多了。他们有很多针对这个特定事物的环境。
第37手与熵坍缩
Dwarkesh Patel：
在对话早些时候，我们在强化学习的背景下谈论了导致这种熵坍缩，或者只是将概率集中在基础模型已经做过的解决方案上，并导致策略中相对稀疏的更新。
但我认为关于强化学习还有另一个故事，那就是回到Atari游戏，然后AlphaGo想出了第37手，那个超级有创造力的招法。因为它从未在人类数据上初始化，它可以以人类甚至没有在思考的方式思考，并想出极具创造力的解决方案。
你是否知道我们应该何时预期，或者是否应该预期，大语言模型上的强化学习会导致像第37手这样的事情，超越人类创造力的极端创造力，因为智能是从头开始初始化的？
Beren Millidge：
这里有几件事。首先，我认为AlphaGo使用的是MCTS，这显然比常规的策略梯度做了更多的探索之类的事情。但我也认为强化学习不一定减少创造力。
这显然是定性的，但如果我们看看OpenAI-Hugging Face事件，这些模型一次想出多个零日漏洞来突破沙箱。这显然已经是某种程度的第37手创造力，我们只是从大语言模型的一般泛化特性中得到了它。强化学习绝对不是在完全摧毁熵，尤其是在长视野上。
John Schulman：
人们称之为创造力的一件事就是解决困难的搜索问题。第37手显然是一个例子，或者写某种满足大量不同约束的诗。如果为此训练，AI显然会非常擅长这个。
然后还有另一种方式，即模型输出的多样性在强化学习后低了很多，它们形成了这些语言习惯。即使模型看起来擅长写作，当你做某种分布分析时，你会发现它们一直在重复使用某些主题，一直在使用相同的角色名字。你没有得到与人类作者相同的多样性。你得到了一种非常好的风格。所以我认为那种多样性肯定被强化学习大幅削减了。
事实上，既然我们之前谈到了蒸馏，正在发生的一件事是，这么多人在蒸馏，主要是从Claude蒸馏，以至于所有开放权重模型都以与Claude相同的方式写作，并有相同的语言习惯。这在我看来有点令人担忧，我们正在出现这种单一文化。
Beren Millidge：
不过，我再说一次，我不认为这是RL作为一种方法的根本问题。蒸馏也是一样。即使是蒸馏，你也只是在数据上训练。仅仅因为你的数据不够广泛，并不意味着训练方法本身有什么问题。这是数据的问题。
比如，我认为很多RL熵坍缩基本上是因为当你没有大量多样化的环境时，对相当简单的验证器的利用。比如写作，大概是由某个评判者来评分的。这个评判者有一些特定的癖好，而模型正在学习去奖励黑客这个评判者，这就是它坍缩的原因。但这实际上是评判者的问题。这不是RL本身的问题。
快速问答时间线
Dwarkesh Patel：
好，关于未来的超级快速预测。我想要以下几个问题的时间线。到什么时候我们会有这样的模型……这是用户感受到的样子。你基本上可以把它当作一个即插即用的远程工作者，用于各种白领工作？不只是编程，还有视频编辑、法律、律师助理等等。它字面上就是一个真正的远程工作者，拥有完整的计算机使用能力，能无缝学习和运营一个月，执行需要与其他人互动的复杂项目等等。一个人工工作者在一个月内能做的所有事情。
Charlie O’Neill：
如果你强制它使用浏览器或其他什么——而不是公司把信息设置成可以通过程序访问的——也许几年吧。但如果不是基于浏览器的——它可以发Slack消息，它可以做所有这些事情——我可能还是会说大约一年。
Beren Millidge：
我会说也许三年才能达到完全的通用性。但就像Charlie说的，我们最终会有很多人让他们的组织对AI来说更容易使用，所以在那之前你就能达到80-90%的程度。
Dwarkesh Patel：
抱歉，但一年和三年之间的差距真的就是……
Beren Millidge：
我认为会有一个很长的杂项长尾，某些人类能做的事情，模型需要相当长的时间才能做到。
Dwarkesh Patel：
你指的是计算机相关的事情还是基本的认知能力？
Beren Millidge：
我认为这真的归结为我们能多快解决这种在线学习的问题，以及我们能否通过压缩和给自己写文件之类的方式达到80-90%的程度。这是我最大的不确定性。我真的不知道。
Charlie O’Neill：
一个它不擅长的例子是，如果我必须对某人吼叫才能在工作中得到什么东西，或者真的推动某人去完成某件事。模型就是不会那样做。它会太友善了。
John Schulman：
我会说人类远程工作者的质量差异很大。如果你试图从Upwork上雇一个人来做软件工程项目，会有巨大的差异。通常很难让他们做好工作或者关注你给出的所有反馈。我猜在某些情况下，这件事的前AI版本比你现在能从现有AI得到的还要差。
我认为最终可能会有点复杂，因为在某种程度上，对于一些质量不太高的工作，我们已经有了这个。但显然在某些更高质量的工作形式上，我们还没有达到人类水平。但我基本上同意Charlie和Beren的看法，也许一年左右我们会有某个版本的这种东西，还过得去。我们会有那种形态，它能很好地做某些事情，某些事情做得不太好，然后从那里开始不断改进。
Charlie O’Neill：
我们一直在根据那条很长的长尾移动球门柱。我感觉你之前用过报税之类的例子。今年，我literally就告诉Codex去获取我需要的所有东西然后发给会计师。有一大堆东西它必须用电脑点击和下载。它做到了。完美。很多东西它已经能做了。
Dwarkesh Patel：
好：给你10倍的总生产力提升。基本上，如果现在你需要一年才能取得突破，你每个月都能取得突破。
John Schulman：
我想我会拒绝给你一个标量。在某些类型的工作中，我们可能已经超过了那个。比如说你试图做某些类型的数学，然后——
Dwarkesh Patel：
哦，抱歉。但对你作为试图推进AI研究前沿的AI研究者来说。AI研究者被加速或提升了多少？
Charlie O’Neill：
大概5-10年之间？
Dwarkesh Patel：
哦，真的吗？好吧，那还很远。
Beren Millidge：
真的吗，你觉得比一般的远程工作者还要久？有意思。
Dwarkesh Patel：
我意识到你对完全通用的远程工作者的定义可能很不一样。我本可以早点说明的。
Beren Millidge：
确实，因为显然一个AI研究者也可以是远程工作者。
Charlie O’Neill：
我想象的是一个月内的普通白领工作。我认为超过两个月就开始有点分歧了。
Dwarkesh Patel：
一个非常能干的白领工作者，但不一定是超级有创造力的研究者。
John Schulman：
我会说两年。
Dwarkesh Patel：
两年？10倍？好吧。你呢，Beren？
Beren Millidge：
我其实能理解，因为现在对于编程的东西肯定已经超过10倍了。所以如果它能做哪怕一两个实验反馈循环，那实际上就已经是巨大的了。
Dwarkesh Patel：
所以AI研究者在两年内获得10倍提升。如果你把它代入一个非常朴素的AI进展模型，以及有多少进展来自AI研究者，并且他们的生产力有10倍增长，那么从两年后开始，AI进展的速度就会急剧加速。
Beren Millidge：
我认为这将意味着AI进展不会瓶颈在AI研究者运行小型实验的能力上。它会瓶颈在其他事情上。
Dwarkesh Patel：
当然。但它就是快了10倍，这是件大事。这也会帮助下一件事，也就是给你100倍加速的事情，更早发生，等等。
Charlie O’Neill：
我很乐意在那个上面多花一点时间。
Dwarkesh Patel：
关键点是什么？
Charlie O’Neill：
我吸收信息并对下一个实验做出贝叶斯最优决策的能力。
Beren Millidge：
我假设你可以把其中一些委托给AI。AI在决策方面变得不错了。它运行了这个实验，得到了这个结果，它运行下一个实验。如果它能连续运行两三个实验而不崩溃，那实际上就是一个很大的提升。
Dwarkesh Patel：
好，最后一个问题。一个AI在所有可以通过计算机完成的工作领域中都能超越顶尖人类专家。所以不只是AI研究，而是所有认知工作。不只是短周期的工作，而是字面上，如果它需要三年什么的，AI仍然会比人类做得更好。
Beren Millidge：
这基本上就是ASI了吧？
Dwarkesh Patel：
是的。
John Schulman：
我会说3-4年。
Dwarkesh Patel：
我靠？我的意思是那看起来不算错，但——
John Schulman：
AI显然正在获得更多关注。这是比较难的事情之一，但很多精力正在投入其中。它对AI来说也不是最难的事情之一，因为它涉及大量代码和数学，而模型非常擅长这些。
对于涉及3D和空间的东西以及物理的东西，我认为那会需要更长一点时间。如果是机械工程之类的，而且目前没有得到最多关注，那可能需要更长一点时间。
Dwarkesh Patel：
但它也包括那些由于领域性质而数据相对较少的领域，而且它必须即时学习那些数据。例如，它必须在台积电当工程师这件事上变得超人。
John Schulman：
所以你必须假设你能给AI提供同样的入职培训材料。然后还需要解决更长周期学习的问题。
Charlie O’Neill：
我会说5到10。
Dwarkesh Patel：
所以基本上，你认为自动化AI研究就是ASI完备的，或者类似的意思？
Charlie O’Neill：
是的，我认为是这样。我认为世界上有太多事情，即使你有一个模型外部的某种记忆系统，即使上下文长度增长了一点，有些根本性的东西，即使你可以自己研究信息或写笔记，你今天也需要超过一百万个词元的上下文窗口。
Beren Millidge：
我大致同意5年这个范围，至少对于实验室正在关注的那些东西来说。但我认为会有一个长尾，AI理论上可以去学习，但没有人费心去做，算力也没有分配到那上面。所以对于字面意义上的每一个人类专家来说，那可能需要更长时间。
Dwarkesh Patel：
抱歉，但我说的这个也包括像人类一样快速学习一个新领域的能力。
Beren Millidge：
我认为那不一定必要，因为AI将拥有比任何人类都丰富得多的经验。
Dwarkesh Patel：
非常感谢你们做这个，各位。我觉得这是一个很好的形式，让不同的专家一起产生分歧、辩论和讨论。非常有成效。
John Schulman：
谢谢邀请我们。
本文由 AI 翻译。