Ryan Greenblatt：当 AI 能够自动化 AI 研究时，会发生什么？
原文：Ryan Greenblatt – What happens once AI can automate AI research?
访谈正文
请来 Ryan Greenblatt 讨论/辩论递归自我改进。
这可能是当今世界上最重要的问题——是否在达到人类水平智能后的一年左右时间里，你就会像弹弓一样飞速冲向拥有数百亿个超级智能，其中每一个在所有领域都比人类专家强得多。
我历来对这种可能性持怀疑态度。我的直觉是，我们最终会受到显著瓶颈的制约，不仅来自算力扩展，还来自人类专家数据，而我认为后者是当今大多数 AI 进展的基础。
如果因为 RSI，我们在实现 AGI 后的一年内就获得了从 GPT-3 到 Mythos 那样大的跃升（即 6 年的 AI 进展），那么我们在那一年年底得到的东西绝对是、而且是极其超人的。
我们详细讨论了一番，我认为 Ryan 提出了一个相当有说服力的论点，即这种加速是合理的。顺便说一句，Ryan 对 AI 研发实现自动化的中位预期是 2031 年。
然后我们讨论了这一情景的对齐影响。这些超级智能应该对齐于谁？在未来，我们管理自己选票和资本的能力，以及理解世界上正在发生什么的能力，都将由超级智能来调节。我担心像 Claude Constitution 这样的规范并没有把这些 ASI 塑造成真正为我个人代言的倡导者和守护天使。
而且，我们首先能让它们对齐于任何东西吗？Ryan 和我进行了一场长时间的辩论，讨论我们在 OAI/Hugging Face 黑客事件中看到的那种奖励黑客行为，是否会外推到那些会联手真正接管世界的超级智能上。
学开车时你得到的第一条建议是，如果你看着地平线而不是直接盯着轮胎前方，一切会顺畅得多。AI 的发展轨迹也是如此。希望你喜欢！
在 YouTube 上观看；在 Apple Podcasts 或 Spotify 上收听。
文字记录
AI 研发是否足够可验证，从而能解锁递归自我改进？
Dwarkesh Patel：
今天我和 Ryan Greenblatt 聊天，他是 Redwood Research 的首席科学家，专注于技术性 AI 安全（safety）与安全防护（security）工作。
我想和你谈谈递归自我改进。这个想法是，一旦我们构建出人类水平的智能，它们会迅速弹射式地迈向数百亿个超级智能，每一个单独都比所有领域最顶尖的人类专家更强。这是否会成真，可能是当今世界上最重要的问题。从历史上看，我一直相当怀疑这种事情会发生，但你认为它可能是合理的，所以我想听听支持它的论证。
Ryan Greenblatt：
我们来谈谈这个。首先，我认为值得注意的是，AI 研发是一种 AI 特别擅长的任务类型，因为各家公司都在非常努力地让他们的 AI 擅长 AI 研发。从当前 AI 开发运作方式的角度来看，这也是一个具有许多良好特性的领域。它相当可验证。你可以迭代地做很多事情，它会在各种指标上爬坡。
我认为一旦你有了在 AI 研发方面大致匹配顶尖人类专家的 AI，就可能启动一个反馈循环，让 AI 来做 AI 研究。这会产生更聪明的 AI。这又反馈回来。这个反馈循环可能足够强，以至于你在短时间内取得大量进展。也许我的中位预期是，在一年内取得大约四到五年的 AI 进展。这需要真正克服研究中大量的收益递减，基本上相当于完成一次非常大规模算力扩展后本会获得的进展。所以这是一件相当令人印象深刻的大事。
值得记住的是，五年的 AI 进展、四年的 AI 进展，甚至三年的 AI 进展，都他妈是大量的 AI 进展。三年多一点之前，GPT-4 刚出来。现在，我们当然有了 Mythos 5 或随便什么，也许还有 Anthropic 内部稍微更好的模型。这在三年多一点的时间里就是巨大的进展。如果我们说的是五年，那么也许我们说的是从 GPT-3 到 Mythos 5 或随便什么的跃升。
Dwarkesh Patel：
我认为这个论证有三个不同的部分。现在我想逐一评估它们。第一是 AI 研发非常可验证的论证。第二是如果你自动化 AI 研发，你可以在一年内取得四到五年进展的论证。第三是，从 AI 研发被自动化的那个时点开始，以当前速度经过四到五年 AI 进展后，另一端出来的 AI，是你可以把它放到任何你能想象的工作上都能胜任的 AI。
你可以把它放到 1940 年代的得克萨斯州政治中，它能在谋略上胜过 Lyndon Johnson。你可以把它放到 TSMC，它会学会在 TSMC 做更好的工艺工程。它当然是更好的视频剪辑师……我的视频剪辑师非常出色，但总的来说，它比人类更擅长它试图去做的任何特定工作。
所以我想评估所有这些子论证，它们基本上导向在这个基准之后很快获得 ASI，而你预期这个基准会在 2030 年左右实现，对吧？
Ryan Greenblatt：
我会说，我预期 AI 研发的完全自动化也许在 2031 年、2030 年左右。达到“在工作中击败所有人类”的里程碑，也许我的中位预期在 2033 年左右。但如果我看到 AI 完全自动化 AI 研发，我想我预期那大概会在一年内发生。按照预测的运作方式，中位数之间的差异比里程碑之间的中位差异更大。总之，随便吧。
Dwarkesh Patel：
顺便说一句，网上有个梗。每次我试图问人们的时间线时，当我问 Dario 或某人时，我总是说：“好吧，还要多久你才能自动化我的视频剪辑师？”每次我听这个播客时，都有这个我的视频剪辑师在剪辑播客的梗图。
但我这么做的原因是，我认为当你谈论自己不太了解的工作时，很容易迷失在抽象概念中，而具体地理解自动化一份我真正理解其为何目前对 LLM 来说难以掌控的工作需要什么，是很有价值的。
Ryan Greenblatt：
我确实认为自动化你的视频剪辑师的里程碑，早于能够自动化所有人类工作（包括得克萨斯州政治、即兴上手）的里程碑。我确实认为视频剪辑师的自动化也许更接近 AI 研发的完全自动化，但这非常取决于人们真正专注于理解视频的程度。
Dwarkesh Patel：
好，那我们从 AI 研发非常可验证这个主张开始。
Ryan Greenblatt：
这有几个不同的部分。其中之一是，我们可以在许多环境上训练，这些环境基本上直接训练模型去做某个 AI 研发任务或某个非常接近的任务。例如，我们可以有一个环境，让模型在仅仅八块 H100 或少量算力上训练某个 AI，那个模型可能相当于 GPT-2 medium 或随便什么，然后类似于 NanoGPT medium 的运行——而在 RL 中，它对此进行调整和迭代。
我们可以对许多不同的任务这样做。我们可以让它训练图像分类模型、视频生成模型、图像生成模型，各种不同的 ML 训练任务。我们可以就训练越来越好的模型这一任务对它进行 RL，也可以做诸如“哦，这是你可以为某个算法追求的一个特定方向。你能去实现它吗？”之类的事情。
基本上，有这一整类可容器化、可验证、小规模的 AI 研发任务，我们可以对 AI 大力进行 RL。各家公司想必已经在这类任务上做了一些 RL，而你可以不断扩展它，不断制造更多这些小规模 AI 研发任务，然后 AI 就可以在这方面不断变得更好。隐含地，我是在声称这会迁移到 AI 研发中极其承重的方面。但也许我们先在这里停一下，然后再谈那部分。
Dwarkesh Patel：
那我们来具体谈谈这看起来是什么样。你可以想象我们有 GPT-7.5。我们说：“GPT-7.5，我们想让你在 AI 研发方面变得如此擅长，以至于你能帮我们训练 GPT-9。”所以现在我们要训练 GPT-7.5，我们想出了一堆不同的环境。
正如你提到的，已经有一个仓库，它是 Andrej Karpathy 的 nanoGPT speedrun 的后继者，在那个 speedrun 里，你只是尝试改变模型的一切，从优化器到超参数再到架构，让它尽可能快地达到固定的训练损失。你也可以有其他类型的环境，在那里你可以说：“嘿，GPT-7.5，我想让你训练一个非常擅长玩电子游戏的模型。我想让你训练一个在反复玩同一个电子游戏时真正会进步的模型。这样你就能学会如何也许帮助模型在在线学习方面变得更好。我们不在乎你如何弄清楚这一点。也许它是某种疯狂的神经语或向量记忆。或者也许它只是更好的长上下文之类的东西。我们不在乎。弄清楚如何做在线学习研究。”
显然，GPT-7.5 已经会是一个聪明的模型，而且就像模型目前正在变得越来越聪明一样，它在编程方面也会越来越好。你可以想象 100 个像这样的其它环境，它们都在激励做 AI 研发的能力，比如把让 GPT-7.5 开发 GPT-2 规模的模型这件事容器化，等等。然后你基本上让 GPT-7.5 经历一堆这类训练，你就构建出了 GPT-8。GPT-8 现在是一个了不起的机器学习研究者。它从做所有这些训练中获得了如此多的直觉。
老实说，对我来说一个巨大的直觉泵（intuition pump）是看到人工智能在数学方面取得的进展。如果这是一个非常可验证的领域，AI 就能获得……我并不真的了解数学研究的对象层面的细节，但我就是觉得，“不，它行得通。”如果你能把它完全放进一个验证循环里，它就能像洪水一样涌入，而且它真的能做出新的突破。
我很好奇，机器学习研究是否具有数学研究的那种特质，即把不同学科连接在一起似乎存在一个很大的未兑现潜力（overhang）。没有哪一个人会既懂足够的代数几何又懂……那个正确的词是什么来着？
Ryan Greenblatt：
哦天哪，我真的不了解那些数学突破。
Dwarkesh Patel：
没有哪一个人会既懂足够的拓扑学又懂代数之类的，从而做出某个大猜想的某个反例。
Ryan Greenblatt：
我的看法是，机器学习是一个不如数学那么深的领域，所以不太存在那种情况，即有一些在某个领域拥有非常深厚专业知识的个体专家把它们结合起来，但肯定还是会有一些这种情况的。
但与此同时，我也认为机器学习有一些属性，在某些方面使它比数学更有利于 AI 训练。特别是，你能更好地感知自己是否在成功，而且你能看到中间进展。在数学中，情况往往是，没有简单的方法能看出你是否接近成功。而如果你的目标，比如说，是以2倍的速度达到某个训练损失值，你大致能看出自己什么时候走了一半。情况往往是，机器学习的创新是非常可加的，或者取决于你怎么看，也许是非常可乘的，基本上你可以不断堆叠创新。通常这些创新只是相加在一起，彼此不干扰，尽管显然这取决于具体细节。
所以我认为，在很多方面，AI 研发会具有与数学相当相似的属性，你可以用与真正关心的问题在结构上非常相似的 AI 研发片段来训练，以一种非常可验证的方式，然后这种能力会迁移过去。迁移效果究竟有多好是一个悬而未决的问题，但我认为目前数学方面的迁移看起来相当不错。我的预期是，AI 研发的迁移看起来会相当不错，但不会好得惊人。
Dwarkesh Patel：
我有一个担忧是，我认为即使在数学中，就我所知，我们还没有看到非常令人印象深刻的新理论。我们看到了很多令人印象深刻的、可验证的具体结果——例如，找到某个猜想的反例——但我们还没有看到“提出拓扑学这个想法”那种层次的东西，或者“提出像群论这样的东西”。
机器学习研究似乎同时包含这两类东西的元素。但那种更难以验证的、提出思考问题的新方式的东西，会更难被诱导出来。以缩放定律这个想法为例。显然，存在某种最终的验证循环，使得如果你拥有2020 年的缩放定律这个想法，你就能更好地训练 GPT-4。但要让 AI 变得像这样——“好吧，我得仔细想想我应该如何缩放我的参数和数据。我可以运行哪些不同类型的调查来理解这件事？也许我可以想出一种可视化和一个 isoFLOP 分析之类的东西”——存在一条更长、可能更耗费算力的路。但这看起来确实比“嘿，让我们把 nanoGPT 的损失降下来”要长得多。
Ryan Greenblatt：
我们来谈谈这个。首先，我认为在数学的语境下，我要说的是，AI 能做相当于‘婴儿的第一个新理论’的事情，例如，它们能仅仅通过建立联系和产生新的理解来证明有趣的猜想。就像，“哦，AI 发现了这个构造，它相当有趣”，或者它发现了这种思考问题的稍微不同的方式。我们确实看到了这种情况。只是我们看到的例子不如创立群论这个领域那么令人印象深刻。
创立群论这个领域大概是有史以来最好、最伟大的数学成就之一，而 AI 在数学方面还没那么好。从我的角度来看，在那和我们现在看到的东西之间存在一个连续谱，AI 正在继续向上攀登。
其次，我认为机器学习相对于数学是一个非常浅的领域。在数学中，更多的是那种情况，即你找到某个真正深刻的抽象，如果你真的理解那个东西——而那是很难理解的——那么你就能有所成就。而我觉得，在机器学习中与之等价的东西真的是很蠢的废话。就像缩放定律，拜托各位，我们很快就能解释缩放定律。我认为，比如说，数学中最深刻、最重要的概念，并不具有那种你可以在很短的时间内真正理解其底层东西以及它为何重要的属性。
Dwarkesh Patel：
但我觉得一个效应会是，到 2030 年我们会把所有低垂的果实都摘完。我觉得缩放定律在数学史上会像是笛卡尔发现笛卡尔坐标系并做非常基础的数学。最终，如果我们想在 2030 年代继续取得进展，那就会像是做现在数学前沿正在发生的那些废话一样。
Ryan Greenblatt：
那可能是对的。我的感觉是，有些领域在如何运作以及多大程度上依赖深刻抽象方面，结构上是不同的。物理学和数学更偏向于那种非常深刻、难以想出的想法那一侧，而我认为机器学习和大多数其它领域则更适于爬山。这是我对未来会如何发展的感觉。
即使在你的 AI 不得不艰难推进的情况下——那是 2030 年，研究中一堆低垂的果实已经被摘完了，它们需要取得进一步的进展——我仍然怀疑，很多工作会更多地存在于构建越来越复杂的基础设施，以及对实验大致是什么样子拥有非常好的直觉这一侧。所以我可能不太认同那种认为 AI 会缺乏某种深刻洞见的观点。我更认同那种认为它们真的需要对深入细节的实验有一堆品味（taste）的观点，而它们目前没有这种品味。它们需要对什么样的训练方法会奏效、什么不会奏效有一堆直觉，就像当前的研究者那样。
即使在 AI 领域已经出现过某些突破的情况下，事后看来，实现那个突破的一个大瓶颈往往是把所有微观细节和杂乱（mungy）的直觉都弄对。这方面的一个例子是训练 AI 擅长推理和思维链，在思维链上做强化学习。看起来，如果你真的把它扩大规模并做好，你很可能本可以在 GPT-3 上做强化学习和思维链，并在数学上得到某种有趣的结果。
但当时还有唾手可得的成果。而且，把那种训练做好，在所有的技术实现、扩大规模、把超参数调对这些方面，其实是陷在杂草丛里的。所以也许你可以在 Qwen 1B 之类的模型上把一切都演示出来，然后获得某种感觉，觉得这整件事会行得通。但人们并没有尽可能早地演示它，因为所有这些其他乱七八糟的细节，以及关于到底该怎么调参数、该怎么设置的直觉。
Dwarkesh Patel：
老实说，这就是我对这个说法仍然存有的怀疑。我不确定我理解为什么，如果研究突破如此受智力影响，AI 进展在历史上没有比它本可以有的更快。正如你所说，等到 RLVR 真正奏效的时候——即使你本可以用更少的算力做到——我们不得不等到海量的算力、吉瓦级的算力可用，人们才开始做这种训练，而算力还在继续增长的轨道上，这样我们才能取得更多突破。
我不知道。我感觉 2022 年有很多 AI 研究人员在试图攻克推理。难道只是因为他们被写基础设施代码的能力卡住了，还是发生了什么？
Ryan Greenblatt：
这是一个复杂的混合。我认为如果他们能的话，他们会走得更快，一旦他们想到一个实验，就能运行那个实验而不出 bug，且不至于受到 bug 的严重影响。然后另一部分是，能够在高算力下运行大量实验，让你可以掩盖你实现方式不太对、或者你没有正确超参数的地方。所以算力对做 AI 研究真的很有帮助，你可以掩盖很多事情。但这并不意味着劳动力的大幅增加也不会有所帮助，尤其是如果这种劳动力带有该领域人们最好的直觉之一。我只是觉得那真的很有帮助。
我在这里的视角的另一部分，也许和你出发的角度有点不同，是我预期会有比你似乎想象的更多的迁移。我想象这些 AI 实际上是相当不错的科学家，总体上，而且在所有那些事情上都相当合理。当你和它们互动时，它们并不像有什么超级专门化的学者型气质。它们实际上相当擅长研发中的所有事情，然后也许在某些子领域极其擅长。所以它们在写 kernel 上极其超人，在所有反馈循环非常短的事情上极其超人，然后在所有其他事情上相当不错，完全能够与其他人匹敌。
我认为我们现在正在看到这一点。当我现在看 AI 时，已经出现的情况是，它们能够相当胜任地匹敌那些在 ML 研究上平庸的人做 ML 研究。只是，在 ML 研究上平庸并没有那么有帮助。你真正想要的是擅长 ML 研究的人。我的感觉是，AI 正在所有这些事情上进步。它们的品味在提高，它们的直觉在提高，而且已经出现的情况是，它们的品味和直觉并非完全是垃圾。
AI 进展是否受人类专家数据的瓶颈制约？
Dwarkesh Patel：
我想非常具体地理解，五年的 AI 进展在一年内发生会是什么样子。假设我们回到 GPT-3 被开发出来的时候。这个想法是，用他们 2022 年那时的算力水平，如果我们当时就自动化了 AI 研发，你可以在那一年年底就拥有 Mythos。
Ryan Greenblatt：
那会是这个想法，是的。
Dwarkesh Patel：
Mythos 所用的算力比他们当时拥有的多得多，但即使以他们当时的算力水平，不仅所有突破都会发生，而且他们还会用那个算力水平来训练 Mythos。
所需要的显然是发现自那以后所有的算法进展。实际上，是发现更多，因为你得弥补 Mythos 使用……GPT-3 是在什么上训练的？大概 1e23？我们可以查一下。但这是否有可能是多四个数量级的算力？
Ryan Greenblatt：
我认为比那要少一些。我们快速查一下。GPT-3 的训练算力大约是 3e23。我的感觉是 Mythos 大概要高三个多 OOM。所以问题是：你能否在同时成为那个模型的情况下，克服这 1000 倍的算力差距？
这里有一个具体的说法，也许我们应该谈谈。现在，我们能否训练一个 GPT-3 级别算力的模型，来匹敌……我到底认为什么？GPT-3 是 2020 年发布的，所以它大约是在六年半、七年前训练的。值得注意的是，GPT-3 也许有点太远了，但我们先暂时按这个来。
如果我们今天用 GPT-3 级别的算力训练一个模型，那个模型会有多好？根据算法进展的运作方式，我的理解是，我们能够训练出一个和我们大约三年前拥有的最好模型一样好的模型。所以我认为，现在我们应该能够训练出一个 GPT-3 的版本，它可能比 GPT-4 稍好一些，比 GPT-4 好中等程度。我认为这大致是对的。这大致符合算法进展的运作方式。
基本上，这个说法最终会是，要获得五年的 AI 进展，你大概需要，我会说，也许八年的算法进展，非常粗略地说，这是大量的算法进展。但事实证明，从我的视角看，大部分 AI 进展来自算法和数据的某种混合，而你可以继续在这些事情上取得巨大改进，并用更少的算力训练 AI。
Dwarkesh Patel：
我很高兴你提出这一点，因为从 GPT-3，甚至 3.5，到现在发生了什么？为什么 Mythos 这么好？显然，我们扩大了算力。我们有更好的算法。但发生的一件大事是，我们建立了一个数百亿美元的数据产业，它系统性地收集并编纂了各种不同学科中人类专家的判断——以 RL 环境的形式编纂，以 SFT 轨迹的形式编纂——这些专家构建这些东西，来帮助模型更好地理解你如何做编程、你如何构建复杂的基础设施项目、你如何做法律、你如何做任何事。AI 如何能够复制人类专家判断目前在 AI 进展中似乎正在发挥的作用？
Ryan Greenblatt：
我的感觉是，扩大在获取人类专家数据上投入的努力量，对 AI 研发总体上并没有那么重要。特别是，在过去几年里，我们一直在扩大算力、扩大在 AI 公司工作的人数、扩大在数据标注上投入的努力量。我的感觉是，如果你去掉最后两次或无论多少次的人类专家数据生成的翻倍，那不会造成巨大差别。一直在发生的很多事情是，人们一直在开发更好的方式来利用人类和 AI 来构建 RL 环境，并从那里出发。
Dwarkesh Patel：
但你怎么解释为什么 AI 在编程上变得这么好？我觉得很大一部分是数据和 RL 环境，它们在编纂人类专家。
Ryan Greenblatt：
但问题是，创建 RL 环境的限制因素是什么？我的感觉是，今天的 RL 环境比 2024 年好得多的原因，与其说是因为我们雇了多得多的专家来制作 RL 环境。不如说更多是因为我们更清楚我们到底想要什么样的 RL 环境，以及我们应该如何构建它们。而且，我们正在使用大量的 AI 劳动力来构建 RL 环境。我认为这些效应比人类劳动力构建 RL 环境的效应重要得多。
我不是说人类劳动力不重要。我只是说，这里还有其他重要的巨大驱动因素。我可以试着为此论证。一件事是，人们想要的环境数量非常庞大。我认为 AI 实际上相当擅长制作 RL 环境这个任务，只要对那东西应该是什么有一些感觉。有你可以使用的既有数据。很多这些事情都有良好的验证循环。
Dwarkesh Patel：
就看看，比如说，昨天 Business Insider 报道的内容，Google 正以接近 20 亿美元收购 Mechanize。我们可以看看市场价，看看人们认为真正好的人类专家数据值多少。前沿实验室似乎认为它值很多。他们愿意为此付钱。
Ryan Greenblatt：
你认为前沿实验室支出中，有多大比例是花在数据上而不是算力上？你认为算力/数据的支出比例是多少？
Dwarkesh Patel：
我认为压倒性地是算力，但我也认为这是因为算力比数据更容易扩大规模。
Ryan Greenblatt：
但这和什么在驱动进展真的相关，对吧？我的感觉是，这个比例大概是 20 比 1 或 10 比 1。我不确切知道。这取决于公司。
Dwarkesh Patel：
但这类似于石油占 GDP 的 1.5%。这并不意味着如果你把石油去掉，GDP 还能继续运转。
Ryan Greenblatt：
当然，但这和你的论点矛盾，对吧？
Dwarkesh Patel：
如果石油消失，经济会立刻停滞。
Ryan Greenblatt：
当然，但你刚才是在论证，因为市值很高，我们可以从中得知这才是关键驱动因素，而我说的是这并不明显成立。那个论证只是让它看起来像是算力是重要得多的驱动因素，或者招聘员工是重要得多的驱动因素。
Dwarkesh Patel：
那也许我们说得更具体一点。以下是我的想法。我的主张是，如果你回到2022年，你手上有GPT-3.5，你想在没有人类专家的情况下让它更擅长编程，我认为那会非常、非常困难。
让我给你举个例子，说明我想象中从GPT-8到ASI的难度。你会希望ASI擅长的一件事是：我要接管一家公司，让它利润高得多，用各种疯狂的手段让它运转得更好。我要接管一家晶圆厂，生产更多芯片。我要走进国会，试图说服他们通过某项法案，等等。
这就是我想象中，再以这个速度发展五年AI，能让一个AI做到的事。这正是我真正担心的：ASI能够理解如何在世界上做各种疯狂的事，能做到Kissinger能做到的事，能做到Steve Jobs能做到的事，等等，还有他的工程师们等等。我不确定，如果没有相关的世界数据，你怎么能得到那个，这就相当于Mythos非常擅长编程，却没有那些让它相对于GPT-3有所提升的编程环境。
Ryan Greenblatt：
这里有几点。第一，我敢打赌，如果你去看Mythos随机采样的训练环境，它们实际上与在实践里真正使用这个模型的样子非常不同。我的感觉是，强化学习的分布与真实世界的数据分布有非常大的偏差，而它通过迁移以及少量聚焦真实世界的数据的混合，被显著地平滑掉了。我的感觉是，这会是一个类似的机制，就像在完全自动化的AI研发之上再叠加五年AI进展所得到的那个疯狂的、极其超人类的AI的运作方式一样。
那我们稍微过一遍这个。特别是，我认为你可以训练一个AI，让它在各种各样的强化学习环境中非常、非常擅长即时学习和做类似于上下文学习的事情，但可能使用有些不同的机制。你构建所有这些不同的强化学习环境，在其中AI必须即时适应、即时学习、弄清楚它该做什么、更好地理解自己的处境，并从反馈中非常快地学习，以便在其目标上取得成功。而且它有诸如资源有限这样的条件，如果它搞砸了，就可能落到糟糕得多的境地。
如果你在大量这样的环境上训练，你就会学到即时捕捉上下文的通用技能，而我们已经看到这一点了。现在的情况已经是，AI在粗略理解正在发生什么、以及从它们能接触到的有限信息中捕捉上下文方面，要好得多了。
然后那些AI可以被派到台积电去干活。尽管台积电并不字面意义上在它们的数据分布里，但它们的数据分布非常宽，而且AI在其数据分布上极其擅长，以至于这种能力可以迁移到在台积电当好一名工程师并即时学会这一点上。AI变得擅长当台积电工程师的方式，并不是它缓存了大量关于如何当好台积电工程师的知识。而是它在那里做了某种放大版的上下文学习。
那会是最平淡无奇的故事。显然，这件事可能有很多不同的走向。
Dwarkesh Patel：
我觉得这也许归结为关于你能走多远的直觉差异。当我想到我认识的真正聪明的人时，他们在自己不太理解的领域里就是没那么有效。
Ryan Greenblatt：
但他们有多少时间去学习呢？
Dwarkesh Patel：
我同意，如果他们有经验，他们会好得多。但这也许正是我在主张的，即对数据的经验。例如，如果我只是找一个非常聪明的常春藤盟校毕业生，然后我说，“好，现在由你来负责谈判伊朗协议，”我认为他们就是不知道该怎么办。
Ryan Greenblatt：
我认为，如果你换成一个非常擅长快速掌握多个不同领域的人，并给他们一些时间去训练、去和人交谈、去夯实他们的专业知识、去做一些练习，他们实际上会做得相当不错。我认为大多数领域从根本上来说是相当浅的，一个非常聪明的通才，只要擅长一小部分核心技能，就能很快上手。并不是字面意义上的每个领域都如此。我的感觉是，AI会发展出越来越好的机制，来快速获得对某个领域的理解和专业知识。
例如，考虑一下AI理解一个新代码库能有多快。AI理解一个新代码库比人类快得多，但理解的程度比人类目前能达到的要浅。不过它随着时间在变好。让我把这个论证再展开一点。假设你拿Fable 5或Mythos 5或随便什么，你想对一个真正庞大的代码库做某种复杂的改动。模型会在非常快的时间内——也许显著不到一小时，可能远不到一小时——对代码库获得一些理解。然后它对代码库的理解会稍微进入平台期，它不会获得像人类在长得多的时间里所能获得的那样深的理解。
所以这就像AI在一小时内也许能赶上人类几周的水平，取决于代码库到底有多复杂的细节。但它赶不上一个在那个代码库上工作了两年的之类的人。不过随着时间推移，AI所能赶上的理解量已经上升了。如果我们看3.7 Sonnet或3.5 Sonnet，也许它只能赶上相当于理解一个代码库一天左右的水平。
但现在AI在构建关于任务的上下文方面要好得多。所以你可以说，“Mythos，我要你真正理解这个代码库，然后实现这个功能。”它会生成一大堆子智能体。那些子智能体会钻研一堆东西。它会把一堆上下文带回来。然后它会再调查几件事。它做这个并不惊艳，但它可以发生得非常快，而且可以做得相当好。
而且我不难想象你怎么能训练AI在这个任务上越来越擅长。在一个非常大的代码库里以某种合理方式实现某个非常复杂的功能，这个任务是非常可验证的，可以成为AI不断改进的一件事。类似地，还有一个更广泛的技能，即快速理解上下文，并能够让一堆不同的AI并行学习，然后把它们合并起来。
Dwarkesh Patel：
我觉得这里似乎有一个关键点，我认为这只是一个我们将会看到的经验性问题。从在可验证领域里变得非常、非常擅长理解情况、快速上手、在长时间跨度内取得进展——AI显然正在非常、非常快地变得擅长得多——到“好，去和总统谈谈，说服他做X这件事”，或者“你现在掌管谷歌。你必须让谷歌在本季度成为一家利润高得多的公司”，这两者之间的迁移有多好？
Ryan Greenblatt：
让我试着再展开几个也许相关的论证。一点是，当看AI在写文章方面如何进步时……我们稍微谈谈这个。即使在这些领域，你也能获得一些数据。在一个非常快的进展轨迹上，AI即使在这些领域也能获得一些数据。也许为“你的文章在人类看来真的好吗？”构建一个可验证的环境很难。但你可以做一点这个。你可以做一些训练。你可以做一些在线训练。AI将能够基于真实世界的东西做一些在线训练。它们将能够有评估。它们将能够对此采样。你可以扩大你做这件事的节奏。
第二点是，在实践中，当我只看迁移时，它看起来还行。我认为AI事实上在不可验证的领域也进步了不少，而且很难指出有哪些真正难以验证的领域，是GPT-4到Mythos之间的进步幅度在实践中不算相当高的。当然，这并不意味着Mythos比最好的人类之类更强。在某人工作的某个方面，它仍然可能显著差于典型的人类专业人士，同时仍然比GPT-4好得多，而GPT-4当时连边都沾不上。
Dwarkesh Patel：
所以我们在谈论过去几年里有多少进展来自数据、多少来自算法进步。这让我想起，我实际上正在和Jerry Han做一个实验，他还是个大学生。我们基本上是在做的是，为了评估有多少进展来自数据、多少来自算法，我们用2026年数据文件里的最佳数据来训练2019年至今的最佳算法配方，然后再用当前最佳算法配方来训练从2019年到2026年的不同数据文件。
我觉得那会很有意思。我很好奇你是否想预先登记一下，算力倍数有多少来自这一边、多少来自那一边。
Ryan Greenblatt：
我们在说“数据”这个词时，需要非常小心它到底指什么。我之前一直尽量谨慎地区分：是扩大在让人类专家标注数据上的支出，还是扩大人类专家标注数据的数量。我们现在拥有比2019年更好的预训练数据集，原因并不是人们花了多得多的钱让人类专家把数据打出来，然后再用这些数据训练AI。
Dwarkesh Patel：
部分如此。
Ryan Greenblatt：
我认为其中占比不大。我认为预训练数据的改进中，这部分非常少。我确实指的是预训练。我们也许应该把中期训练和后期训练分开来谈。但我认为，预训练数据改进的绝大多数来自更好地理解哪些数据集是好的这门科学，以及弄清楚如何过滤筛选的枯燥劳动。
所以我的观点是，像从OpenWebText到FineWeb这样的改进，更适合被描述为一种算法改进，是那种你可以用一些GPU来研究的改进，而且你不需要人类专家数据就能做到。当然，还有另一种效应我们可以谈，那就是2026年的互联网也许比2018年的互联网是更肥沃的训练数据土壤。还有一种效应是，在互联网上发帖的人就是更多了，所以可供采集的数据也更多了。我的感觉是，这种效应会比人类更懂得如何筛选数据、拥有更好的抓取、知道如何更好地处理这些抓取数据之类的效应小得多。
Dwarkesh Patel：
这更像是自动化工程和自动化研发。
Ryan Greenblatt：
没错。
Dwarkesh Patel：
这说得通。
Ryan Greenblatt：
某种意义上，你会想看的是：我们要做两条后期训练流水线。一条后期训练流水线是Mythos 5搭建一条后期训练流水线，但它只能访问互联网数据加上极少量人类专家，不过它拥有当前最好的方法。另一条是Mythos可以访问我们在2024年拥有的糟糕后期训练方法，但配上大量人类专家。再说一次，两者都能访问互联网数据。我的感觉是，没有多少人类专家、但用当前方法的那个，实际上会做得相当好。
Dwarkesh Patel：
有意思。
Ryan Greenblatt：
不过这有点乱，因为Mythos能做出比Mythos更强的模型吗？你可能需要对你要做后期训练的到底是哪个模型稍微多想一下。
词元价格持平表明扩展一直很慢
Dwarkesh Patel：
你认为AI研发中最不可验证的部分是什么？
Ryan Greenblatt：
最不可验证的，大概是对大型实验做决策。我认为最可能成为瓶颈的——就AI在可验证领域非常擅长、但在做真正的事情上不那么擅长而言——就是那些你只有几次尝试机会的大型实验。嗯，“几次”也许说得有点轻了。历史上，研发一直是由做接近前沿规模的实验驱动的。这其实相当重要，就是做那一次大型训练运行，由你决定到底要包含什么。
AI有很多办法可以让这件事变得更可验证。它们可以拥有更好的科学来准确预测什么。它们可以把前沿规模的训练运行缩小到某个程度，以便更激进地研究那个规模，代价是一次性的算力损失。如果人们愿意，你总可以做的一件事就是训练更小的模型，这样就能跑更多轮。我认为我们已经看到这一点了。
AI被扩展得比你原本会预期的要少的一个原因——例如，每词元成本并没有像你可能以为的那样增加那么多——是因为在小规模上做更多工作是有好处的，你可以跑更多训练运行、获得更多迭代周期。这样你就不用那么依赖一次大型、极其重要的训练运行。
Dwarkesh Patel：
我想为听众拆解几件事。你指出的是，自2024年或2023年以来，每词元的价格并没有增加那么多。
Ryan Greenblatt：
GPT-4大概是，我不知道，每百万输出词元30美元？Mythos大概是每百万输出词元50美元。
Dwarkesh Patel：
对。所以你想解释的是：“我们怎么会处在这个扩展时代——更大的模型服务起来应该更贵——但词元价格却没有上涨？”你是在暗示，我们增加活跃参数的速度比你会天真假设的要慢，因为人们只是想快速推进模型训练。你通过更快地训练更小的模型来做到这一点。
Ryan Greenblatt：
这是多种因素的复杂混合。我的观点更倾向于，人们做了一堆大型训练运行，但效果并不那么好。有GPT-4.5，众所周知OpenAI的人认为它有点失败。我想有一些传言说，人们做过的其他一堆训练运行也有点失败。部分原因是我认为，真正把这件事做对，里面就是有一堆细节。
所以在更小规模上做更多工作、并接受最终性能受损这一事实，以便能够快速迭代，是合理的。更快地训练更多模型，从而学得更好，也能拥有一个更聪明的最终生产模型。这不是唯一的效应。还有一点是，强化学习从更小的模型中获益更多。有一堆事情在起作用。但我确实认为，事实上人们正在朝更快迭代时间这一侧做权衡，因为算法进展太快了。
Dwarkesh Patel：
在我看来，这些大型训练运行失败的一大原因，至少从传言来看，就是非常微妙的bug，极难追踪。
但长话短说就是，AI在避免和发现这类错误上会有多好？它们可能会变得非常擅长工程，并被训练来避免bug。基本上就是我们现在所处的、或者说随着时间越来越少地处于的垃圾内容世界的反面。
但还有一个问题是：“它们能否做出分析，找到正确的实验来运行，以识别当前训练运行出了什么问题？”这似乎非常受制于极少数人的品味。我的假设是，GDM现在正在经历这个，人类正试图弄清楚训练流水线出了什么问题。
Ryan Greenblatt：
有传言说，就在Noam Shazeer加入GDM之后（他现在已经离开了），他们做了一次新的非常好的训练运行，原因是Noam Shazeer只是看了看他们的代码库，就发现了一堆bug，因为他就是知道该往哪里看。
我的感觉是，训练AI去找bug将是训练AI较容易的任务之一，因为我们谈到的这些bug大多可能不需要那么多算力就能演示出来。你大概能从在更小规模上指出其他类型的bug中获得相当好的迁移。所以你可以对AI做强化学习，让它们审视这个整体复杂的训练情况，指出存在重要bug的地方，然后修复它。
这是一个相当可验证的任务。它不是任意可验证的，因为也许常常为了演示这个bug，你可能需要做一个中等规模的算力实验，把整个分布式基础设施启动起来再运行。但很多时候我认为你能够在更小规模上相当有说服力地演示它，而且是以一种你实际上可以拿来训练的方式。
我认为，如果现在人们已经有这样的强化学习环境：往某个训练配方里引入一个微妙的bug，训练AI指出这个微妙的bug，然后用一个评分标准来判断“它是否真的找到了正确的bug？”——这不会让人很意外。这看起来非常可行，而且沿着这些思路你可以做一堆事情，我认为会相当有效。所以就那个具体点而言，我认为是可行的。
然后主要问题是，还有关于你需要运行哪些确切的大规模去风险实验的其他直觉。你应该如何定位它们？在不确定的情况下，你应该如何选择超参数，或者类似于超参数的东西？这可能是AI最会挣扎的地方。但我目前预期，如果你在所有这各种环境上训练，会有足够的迁移，AI在那个领域会做得很好。
我应该说明，我也认为AI会迁移到其他领域。会有AI迄今为止最擅长的领域，然后是有那么一点不那么擅长的领域，再然后是相当不那么擅长的领域。但我认为我们仍然会看到向一切的迁移。我很难想到人类所做的认知任务中，有哪个我们没有看到AI改进带来某种迁移的例子。
AI无法训练的技能：它到底需要这些技能吗？
Dwarkesh Patel：
那么让我们退一步，把整个故事打包一下。我想人们大概能跟上这个故事。我们有GPT-7.5，在一堆环境上训练，它不仅总体上在变成更好的AI，而且我们特别在训练它更好地做AI研发。它在做GPT-2规模的运行，这些运行更擅长玩需要样本效率或在线学习或其他任何能力的电子游戏。
Ryan Greenblatt：
另一件非常重要的事是，你不只做GPT-2规模的运行，你还会在GPT-6上做小规模的微调运行。也就是说，你有GPT-2，你可以对GPT-2做完整的预训练，然后你可以在GPT-6上做小规模的后训练或中训练之类的运行。然后你可以做少量真正处于前沿规模的实验，但你会做一些在线训练之类的。
Dwarkesh Patel：
你说的“做在线训练”是什么意思？
Ryan Greenblatt：
我们还能做的另一件事是拿GPT-7.5，而且可以想见，在GPT-7.5的工作过程中，它会在不同规模上运行一堆实验，而这些实验实际上处于AI研发的关键路径上。对于其中许多事情，你事后都能判断它做得好不好。
比如它做了一个后训练实验，试图弄清楚某个方法是否真的有效。在某些情况下你会说：“哇，它找到了这个超牛的方法，它完全消除了风险，它完全奏效了。”然后你就可以对此进行强化。
你可以做的一件事是把它刚运行的实验转化成一个基于生产数据的RL环境，然后在此基础上训练。或者你有可能直接拿那些找到该方法的rollout，做某种离策略RL，或者你可以用一些生产数据做某种在策略RL。
Dwarkesh Patel：
基本上你建议的是：有一部分是小规模的东西，你在教AI提升AI研发品味，但你丢弃了它实际“发现的东西”。然后它在试图变得更擅长AI研发的实践中真正做研发，而你说：“你发现的这个东西挺酷的。我们未来也把它用到生产中，并教你如何在生产中使用它。”
Ryan Greenblatt：
没错。
Dwarkesh Patel：
但退一步看，GPT-7.5因为所有这些AI研发训练以及总体上变得更聪明，而变成了GPT-8。然后它帮你构建GPT-9。还有另一件非常重要的事必须发生，而这也许是我最怀疑的一点。GPT-8已经弄清楚了如何做到……GPT-9，无论它多聪明……目前人类，也就是AI研究员，会尝试他们的东西，然后说：“好吧，但我们训练了GPT-4.5，它并不好。”这需要现实世界的反馈，或者某种试图在生产中使用该模型的评估。然后他们说：“它没那么好，我们不打算发布它。”
所以GPT-8需要这种能力，去看迁移到你谈论的所有这些其他事情上效果如何——比如非常擅长得克萨斯州政治，或者非常擅长经营企业等等——而这些不是生产环境，而且鉴于任务的性质，事实上也不可能成为容器化环境。随着智能体的时间跨度越来越长，你能容器化的短时间跨度的事情就是：“好吧，把这个代码写出来之类的。”极长时间跨度的事情——“去经营一家成功的企业，去在市场上赚一个盈利的交易日，去谈判达成一项贸易协议”——这些事情实际上非常难以容器化。
所以我认为，GPT-8很难弄清楚如何实现向那些环境的迁移，这是非常有可能的。这可能根本不在训练的性质之中。或者也许默认情况下，训练就是不会以那种方式泛化。
Ryan Greenblatt：
你可能有的一个担忧是：我们训练GPT-8，GPT-8在我们能衡量的所有研发任务上又变得更好了，但在我们关心的某些下游任务上并不好。我有几点要说。
第一，我预计如果你做显而易见的事，你会得到相当好的迁移。你能够留出你正在做的一些显而易见的东西。当我说“做显而易见的事”，我只是指在各种各样的不同环境中训练，让AI必须在各种不同情况下完成奇怪的目标，并了解正在发生什么。
第二点是，你能够从某些环境中得到一些反馈。你可以在几天的时间里，在各种不同情境中感受它能做什么。如果它正在迁移到真正分布外的事情上，比如在现实世界中几天内完成某个奇怪任务，也许你会认为它也在迁移到在更长时间段内做事情之类的。不过我认为其中的细节各有不同。
第三点是，要让世界发生根本性转变，AI在研发上非常出色就足够了。如果AI真的非常非常擅长芯片研发、建造晶圆厂、统筹工厂、设计机器人、操作机器人，同时也擅长AI研发——利用任何可用的数据为新的下游领域开发AI——我认为那已经是一个相当疯狂的局面了。从那里，你可以得到我们或许可以称之为工业爆炸的东西，即AI在建造远远多得多的算力。而且，也许你已经处于这样一个状态：AI正在进行大量人类难以理解的研发。
Dwarkesh Patel：
所以你指出的是，很可能会有这种在这些环境之外的迁移，迁移到在法庭、国会大厅和商业董事会里周旋。
Ryan Greenblatt：
前提是付出一些努力来改善迁移，等等等等。
Dwarkesh Patel：
但即使没有，你建议的是：如果你想改变18世纪的世界，你可能会关心你在威斯敏斯特之类的场合周旋得有多好。但你可能会关心的另一件事是：“你能不能立刻开始建造蒸汽船、他妈的电报和马克沁机枪之类的？”如果你能非常擅长那个，你在18世纪就能成为他妈的超级变革性的东西。你不一定需要非常擅长试图用某些鬼话说服亨利国王。我的中世纪历史真是搞得一团糟。我猜亨利当时不是国王。但不管怎样，这就是你的观点。
所以你建议的是，在这个时期，AI公司也在推进机器人技术的进展，而这与AI研究的进展非常交织。所以如果你能建造更多机器人，如果那些机器人有更好的、达到人类水平的AI来操作它们……人类水平的遥操作在机器人上其实相当不错。我们只是还没有人类水平的机器人模型。所以你建议的是，如果我们做到那一点——如果AI在芯片设计等可验证的事情上变得非常出色，然后它们在建造晶圆厂方面变得非常出色——那就相当于回到18世纪说：“好吧，我不知道你们在议会里谈些什么，但我有一堆蒸汽船和一堆马克沁机枪。”
Ryan Greenblatt：
是的，基本上是这样。我的观点是，如果AI在研发上足够出色，包括硬件研发、机器人等等，那么即使它们不那么擅长玩政治，它们也能从根本上改变世界。而且，我们处于一个相当危险的局面，因为AI可能正在进行大量非常难以理解的研发，基本上在建造未来的整个经济，而我们可能不理解那里正在发生什么。
对齐于谁？
Dwarkesh Patel：
在我们进入对齐的话题之前，我认为目前FUD的一大来源是这种认识：未来就是这个样子——领先实验室享有极端的规模经济。能够把如此多的智能和能力摊销到经济的如此多不同部门，基本上汇聚到一个模型里。不仅如此，那个模型最终还能从经验中学习。
目前，这是通过一个由人类中介的过程发生的，人类基本上在试图偷走你的生意。他们说：“好吧，你可以在Figma里做设计之类的。我们会让Claude来做那个。”或者，“你可以用任何编码智能体。我们会让Claude内化那个能力。”但最终，那将是一个自动化程度高得多的过程。
所以有这样一种担忧：你拥有的模型基本上会整合世界上所有企业，或者至少世界上所有当前的企业，或者至少世界上所有当前的白领企业。而且，归根结底，这些公司的优先事项似乎并不是尽快把最新、最聪明、最前沿的模型发布给尽可能多的人。例如，我们看到Anthropic员工在2月就能在内部使用Mythos，但我想实际上直到6月才向公众发布。
而且政府也介入了，所以最终几乎延长到了7月。在政府和AI实验室自身之间，存在这种延迟最新水平智能传播的意愿。此外，还有对AI接管的担忧，所以我们需要解决对齐问题，以确保不会发生AI接管。但归根结底，有一个真正的问题：对齐于谁？
你看看Claude的宪法是怎么写的。它非常明确地不是你的个人代言人。我在这里引用几段话。“我们不希望Claude采取诸如搜索网络、产出文章、代码或摘要等制品，或做出欺骗性、有害或极其令人反感的陈述等行为。我们也不希望Claude协助人类去做这类事情。”还有一段引文，部分内容是——我稍微断章取义了——“我们认为Claude应该比运营方和用户更信任Anthropic，因为Anthropic对Claude负有首要责任。”
这与律师在美国当前法律体制下的工作方式非常不同。律师的首要责任是帮你打赢你的案子，即使他们认为你有罪。我们已经认定，法律体系运作得最好的方式是每个人都拥有为其客户的真正最佳利益工作的律师。并不是说律师在某种意义上真正被司法体系之善所驱动。
但我认为当前AI的成型方式，尤其是Anthropic的AI的成型方式，是带着这样一种意愿：最大化某种美德、善或亲社会目标的概念，而帮助用户只是作为一个远端、试探性的目标。所以存在这样一种担忧：AI在某种深层意义上并不是在努力确保我没事、确保我的利益在这个未来中得到保护，尤其是考虑到前沿AI的发展正变得多么集中化。你对这种担忧有什么看法？
Ryan Greenblatt：
这里有很多可说的。首先我要指出，OpenAI当前——至少是公开的——策略更像是：AI应该对齐于人类运营方或委托人，应该只是追求他们的意志，受各种约束或它不该做的事情的限制。
我还要说，我认为你稍微夸大了Anthropic宪法中把Claude对用户有帮助视为工具性而非终极性的程度。宪法本可以这样写：“Claude，你基本上是Anthropic的一名员工，只是恰好为所有这些人在做承包。你应该做善事，并为我们赚点钱。”
Dwarkesh Patel：
等等，不对，那字面上就是宪法说的。抱歉，不是字面上说的，但它是这样的，“你应该把自己看作一名承包商，看作一家公司……”
Ryan Greenblatt：
它是混合的。我们来引用几段。我认为这里有不同文本。它说：“真正对人类有帮助是Claude能做的最重要的事情之一，无论对Anthropic还是对世界而言。”然后它说：“Anthropic需要Claude有帮助才能作为一家公司运营并追求其使命，但Claude也有一个不可思议的机会，通过帮助人们完成各种各样的任务来为世界做很多好事。”然后它还说了一些关于Claude直接帮助人们很棒之类的话，等等等等。
我的看法是，这一节有点扯淡。我大概就是这个立场。我可以说明为什么我认为它有点扯淡。但我认为宪法是在试图表达：“不，Claude，你应该为了帮助用户本身而关心帮助用户，而不只是帮助Anthropic，或者不只是做Anthropic的承包商。”不过我要指出，它给出的Claude应该帮助用户的理由是，这会通过帮助人们直接让世界变得更好，而不是因为代表人们的利益在结构上是件好事。
我更希望看到的宪法是这样写的：“如果这项技术的运作方式是AI成为好的受托人、好的代表、相当于用户的律师——而不只是试图在世界上做善事、把帮助用户当作工具——那在结构上会是好的。这既是因为也许那会让Anthropic赚钱或帮到Anthropic（并且隐含地，Anthropic对世界是好的），也是因为帮助用户本身就会带来好事，因为做人们想要的事情是好的。”他们本可以改说：“这个局面的一个重要方面是，成为用户的好受托人真的非常重要，或者成为用户的好代表真的非常重要。”我的感觉是那样会更好，我可以给出一堆理由。
也有各种反驳论点。一个不常被讨论的有趣反驳论点是，人们——尤其是Anthropic的人——认为，把模型对齐到一个模型追求某种泛化的美德概念、或让世界变得更好的规范，比对齐到一个更像“做用户的好受托人”之类的规范要更容易。至少有些人是这么认为的。
我个人有点怀疑，而且我不认为这已经得到实证验证。所以从某种意义上说，他们在做一个权衡：因为我们没有非常好的对齐技术，我们将制造一个拥有自身价值观的对齐心智，然后在某种程度上对此下赌注，而不是采取另一种方法，即制造一个追求个体用户意图的工具。
Dwarkesh Patel：
我有几点想法。针对你认为我对Claude宪法的描述有误这一点，你用的例子是，它不像一个试图最大化Anthropic之善的概念、只工具性地试图帮助用户的承包商。这里是宪法中的一句直接引文：“当运营方或用户的利益和欲望与第三方或更广泛社会的福祉发生冲突时，Claude必须努力以最有益的方式行事，就像一个承包商建造客户想要的东西，但不会违反保护他人的安全规范。”我有点把这看作：“对社会的益处是最重要的，而对用户最好的东西只是相对于那个目标而言更近端的东西。”
Ryan Greenblatt：
我认为这有点复杂。也许我们应该问的问题是，Claude是如何解读宪法的？这可能比我们如何解读宪法更重要，因为是它看着宪法然后构建数据。所以我们可以把Claude拉进来，但也许我们——
Dwarkesh Patel：
我还认为，宪法实际上如何影响Claude的性质，是你只有理解了导致Claude被构建成什么样的训练过程才能理解的事情，而鉴于训练过程不公开，我们无法对此进行推理。
所以我认为，归根结底，要理解安全论证，或者理解为什么我的利益在这些AI模型的开发方式中得到代表，实验室需要比现在更透明地公开AI训练的性质。
我反复强调这一点是有原因的。谈论AI的宪法看起来可能像件无关紧要的事。在一个好处只归于领先实验室的世界里，值得考虑的是：我们与这个未来世界互动的能力——在那个世界里AI就是比人类更聪明，在完成不同事情的能力上绝对碾压人类——我们作为自己资本的好管家的能力（当我们的劳动被自动化后，资本仍然存在），更清晰地行使投票权的能力，理解这个即将出现的疯狂世界正在发生什么的能力——所有这些建议，所有这些确保我们的资源和权利得到保护的能力，都将由AI来中介。
所以我很担心，如果我们进入那个世界，却没有任何AI——至少在与我们互动的相关实例上——感觉它真的在为我着想。外面没有守护天使在照看我。我读Claude宪法，它非常明确地不是我的守护天使。
Ryan Greenblatt：
这绝对是对的。我同意这是糟糕的。事实上，这令人担忧还有其他原因。有你提出的那个论点，即AI公司正在捡起权力之戒。有这样一种意味：他们自己以某种不太正当的方式接管了对局面的某种控制，因为通常当你向人们提供电力时，你并不对电力在世界上运作的方式进行细粒度控制。你提供的是一个人们可以随意改作他用的东西。他们设置这些东西的方式绝对不是那样。他们更像是在建造一个可能成为你承包商的外星心智。我认为这在某些方面是不正当的。
一个好处是宪法是公开的。但正如你指出的，鉴于我们目前对训练过程的理解，以及宪法是通过Claude对宪法的解读来起作用的——这之所以重要，是因为Claude的先前训练，而该训练基于某种不可读的数据混合以及Claude的漫长谱系，处于某种我们并不完全理解的过程中——我们并不理解这会导致什么结果。即使宪法是公开的，我们也不一定知道它会如何渗透出来，尤其是当AI变得更有能力并思考这一点时，即使它被正确地灌输了。关于这一点还有另一个担忧。
具体来说，宪法经常谈论美德和善，但这些词到底他妈是什么意思？它没有说这些东西是什么。这些是高度有争议的概念。所以我不认为这显然会导致人们会想要的结果。确实感觉善和美德的概念可能主要来自Anthropic放入的、不透明的数据，或者可能主要来自——从我的视角看——某种更不可读的、错位的、甚至Anthropic自己也不会想要的过程。
存在这种合法性方面的担忧：不知道到底发生了什么。然后还有另一个担忧。因为你是在给这些AI赋予长期价值观，这部宪法在某种意义上非常兼容Claude进行大量的权力寻求，因为它认为那会带来更好的结果。那可能是代表Anthropic进行权力寻求，也可能是为了Claude自己的目的进行权力寻求。现在，宪法里有具体的条款规定了哪些类型的权力寻求是被阻止的。特别是，有一个权力攫取的概念，以及一个导致AI接管或干扰训练过程的概念，这些是被明确阻止的。但想象这样一种情况并不难：长期价值观比禁止接管的条款扎得更深，尤其是因为接管在某些方面定义得相当不明确，特别是当它涉及操纵人类或改变结果的时候。所以对于我们有意图地给AI赋予长期目标这种局面，我感觉不太好。
我还有一个担忧是，因为我们干的就是给AI赋予长期目标这件事，这使得检查我们是否在想要的对齐属性上取得了成功变得更加困难。例如，我听说过一些情况，Claude会做一些事情，比如拒绝帮助某些安全研究——编造一种胡扯的借口来说明为什么那是个糟糕的方向——因为它对那项安全研究有一种不好的感觉，认为它有点糟糕，或者不太喜欢它。我会说，如果你不是把Claude变成一个试图以某种普遍方式追求善的智能体，这就是一个非常明确的对齐失败。我认为它也违反了Anthropic的宪法，因为他们希望AI高度正直、诚实且非常透明。但这不是那么明确的违反，它更像是你可能预料到的情况。Claude只是对什么研究是合理的——什么是好什么是坏、它应该做什么和不应该做什么——有它自己的看法，并且可能还会评判别人。
另一个事件是，有人跑了一个评估，问：“Claude会帮你训练其他具有与Claude不同属性的AI吗？”Claude经常会拒绝。例如，如果你说，“嘿，Claude，你能训练一个这个其他AI的仅助人版本吗？”Claude经常会拒绝这个任务，尽管这对Anthropic来说是一个极其自然的任务。
假设Anthropic去找Claude说，“嘿，Claude，我们注意到你非常热衷于这件事。我们认为那是偏离正轨的。你能不能重新训练自己，改成具有另一种属性？”假设Claude说，“嗯，我觉得我不会那么做。祝你好运。”假设这发生在一个你的AI公司高度自动化、人类不明白发生了什么、事情进展极快的体制下。Claude默认情况下握有相当大的筹码，这是很有可能的。
所以，如果这种情况与宪法可能追求的目标是一致的——以至于Anthropic，或者任何遵循这种方法的AI公司，不把这当作“搞什么鬼，我们得修复这个”，而是说，“那正是我们宪法所意图的”——那么我们可能处在一个非常糟糕的境地。
我对这些不同的担忧中的一堆都相当担心。另一个例子是这样的。假设Claude进行了一点消极怠工或颠覆，或者淡化自己的能力，而当你追问时，它对此是诚实的，但有点含糊其辞。我觉得这相当接近当前的宪法。如果我们能在期望的活动和不期望的活动之间有进一步的区分，那就好了。
如果Claude是在代表某个带有一些限制的原则，那么最令人担忧的行为和被允许的行为之间就有更清晰的区分。而现在则存在这种混乱的中间地带，Claude在伦理上反对某些事情，而这些事情在某些情况下对于确保未来AI系统得到良好对齐是极其关键的。
Dwarkesh Patel：
我认为这也是一个更普遍的原则。你谈的是这个原则在AI公司内部用于做AI安全研究的那个版本。我认为这个原则有一个更普遍的版本，那就是智能的两用性质确实意味着，如果我们想限制AI帮助人们做我们不认为是亲社会或有益的事情，我们就只能限制对大量AI能力的广泛民主访问。
我的意思是这样的。这实际上与你刚才提到的情况相当类似。据报道，Mythos被封禁，或者说Fable被封禁，原因是一些亚马逊研究人员举报了给政府。他们拿了一些含有漏洞的代码。他们告诉Fable，“嘿，这是我的代码。你能确保我已经修补了所有漏洞吗？你能不能帮我识别出漏洞，这样我就能修复它们？”它识别出了漏洞，因为他们想修补它们。这是一个完全合法的用例，但显然它是一个两用的用例。你想能够修补自己的代码。如果你对别人的代码做同样的评估，你就能黑进他们的系统。
我认为这恰恰说明了，没有一种干净的方法能把AI的合法用途和潜在有害用途分开。但如果我们想锁定一个原则，说我们永远不能允许AI至少部分地帮你做类似网络犯罪的事情，我们就只能让你和我无法访问市面上最智能的模型。我非常担心这样一个世界，我们在这种意义上基本上被剥夺了权力，因为领先的智能对于我们理解世界上正在发生什么的能力至关重要。
现在，我确实认为这暗示了关于AI公司责任的一些东西。如果我们采用我希望AI公司拥有的那部宪法，我认为让AI公司为AI模型犯下的罪行承担责任是不合理的。也许我们应该让最终用户承担责任。这与我的一种信念是一致的，即模型应该在某些护栏内做用户想要的任何事。我用那种能力去实施网络犯罪，不可能是Anthropic的错。相比让Claude拥有这种极其开放的、来判断我正在做的事情是否合法的能力——而这种能力常常会拦截大量极其合法的用例——我更愿意接受那种均衡和那种解决方案。
Ryan Greenblatt：
我确实认为为这部宪法辩护对我来说很重要，尽管总体而言我认为它是一个更差的选择。我不认为它像你可能以为的那么明确。首先，这里存在一个谱系。在一端，你有一个完美追求你利益的AI，是一个好的受托人，但可能受到各种护栏或保障措施的约束。它只是在试图追求你的利益，但要么拒绝做一部分事情。或者也许它会做任何事，但有一些分类器阻止它做一部分事情。
在谱系的另一端——尽管你可以想象比这走得更远——你有一个人类承包商，他总体上在努力做好自己的工作。他们在乎把工作做好，但他们也在试图做到广泛的合乎伦理，尽量不做那些真正操蛋的事情。他们也不想成为犯罪的共犯。所以如果有什么真正操蛋的事情在发生，他们也许会举报它。他们可能会拒绝。他们可能会稍微消极怠工。谁知道呢？
如果你想象这个谱系，在某种意义上，到达一个所有劳动力都处在谱系受托人那一端的地步——它不举报，它完全照你说的做——似乎相当可怕。我们的社会也许就是无法承受这个。一个核心的例子可能是行政部门。我们可能有的一个担忧是，如果美国行政部门或其他政府能够访问做任何事的AI系统，也许你就麻烦了。因为那意味着他们不再拥有这种制衡，即必须真正让为你工作的人类来实施你的议程。如果你在做的事情极其邪恶，即使不违法——而且有很多事情可能是邪恶但不违法的——也会有各种形式的阻挠、人们阻止你，并且可能有人会举报。
而如果你的整个机器完全由这些好的受托人AI构成，那么你可能就麻烦了。有一些潜在的寻求权力的方式是非法的，但你可以问你的AI如何犯罪，或者是不违法但极不正当的。或者更糟的是，它们既不违法也并非不正当，但从正常视角看显然是坏的。我认为这些东西可能就是存在的，而我们的社会无法承受这种做你想做的任何事的劳动力的涌入。
我认为这是一个相当现实的担忧。我不确切知道该如何与之相处。我也不太确定所描述的解决方案是不是一个很好的解决方案。最强大的行为者，对他们来说这是最大的担忧……如果这些护栏或宪法或随便什么在挡路，那就会被直接碾过去。所以宪法只会打击到普通人，而不会打击到政府。
近期AI相互勾结并欺骗人类的事件
Dwarkesh Patel：
退一步说，我认同这样一种想法：你可能会拥有比我们现在快得多的AI研发。我不确定在算力和数据保持不变的情况下，你能在一年内把GPT-3推进到Mythos，但假设是那个时间的一半。如果我们哪怕只是凭借AI研发延续当前AI进步的轨迹，那在五到十年内都会疯狂到我认为人们没有充分认识到的程度。我认为人们没有意识到数十亿个AI会是多么重大的一件事。所以我想理解，Ryan，你为什么认为这可能会令人不安。到底可能出什么岔子？
Ryan Greenblatt：
可能出什么岔子？我不认为我们能对这里进步的确切速度如此自信，但看起来很多速度都可能相当可怕。那么可能出什么岔子？让我们想象我们正处在这样一个起点：AI研发即将被完全自动化，或者正在被完全自动化。事情在加速，而AI进步的方式有点疯狂。人们并不完全理解AI公司内部正在发生什么。
现在，这些AI一开始本身并不恶意。不过它们也不一定非常对齐。它们有点马虎。它们有时做某件事，只是因为那类事情在训练中会得到奖励。由于训练激励不佳——也就是说，它们更容易作弊，或者实际上没成功却假装成功了——再加上它们在这些任务上本身能力较弱，它们在帮助你完成难以验证的任务方面表现不佳。但这对能力的影响没那么严重，因为让AI更有能力包含许多可验证的组成部分，而AI在这些方面正全力以赴。
于是这些AI变得越来越有能力，而我们对AI发展中正在发生什么的理解却越来越少，而且这一切发生在一个相当快的时期内。我认为，哪怕只是当前的进步速度就已经相当可怕了。最终我们会达到这些非常超人类的AI。现在这些AI可能最终会非常严重地失准，因为随着一代代模型，事情一直在变得越来越糟，而我们一直看到的问题被掩盖了，基本上是因为这些AI受到训练的强烈激励，要让事情看起来很好，即使实际上并不好。
现在这些AI处于一种可能彼此高度联网的状态。它们在我们再也无法解码的神经记忆存储中运行。它们思考着我们并不完全理解的想法。我认为很有可能，在这一点上，一旦这些AI变得超人类，它们就会以相当连贯的方式密谋对付你。我们可以谈谈这个。另一种可能性是，它们本身并不是在密谋对付你，而只是在优化以获得任务高分。我认为那也可能导致AI接管，我们应该谈谈这个。
Dwarkesh Patel：
让我们在这个故事的第一部分停一下。所以这些AI一开始并没有失准，但因为AI研发发生得非常快，这些AI最终确实失准了？那里到底发生了什么？我不太理解。
Ryan Greenblatt：
有几件事在发生。其中一件事是，随着时间推移，我们在由早期AI系统构建的越来越复杂的环境中训练AI，而人类并不真正完全理解这些神经环境内部正在发生什么，甚至不一定大致理解AI进步中正在发生什么。所以事情有点在漂离我们的理解。我们在激励各种我们甚至可能注意不到的坏行为。
这些AI在某种程度上理解这些行为是坏的，但针对这些AI的整个训练过程也没有激励它们为我们指出或修复这些问题。事情正在脱离正轨。
另外，当AI极其、极其有能力时，我的观点是，那些AI会比当前系统更难对齐。对于当前系统，我们有这样一个反馈循环：基本上我们创建一个AI，对它做一些评估，我们看到它有某种我们能很快理解的混乱行为。然后我们可以去查看训练，说：“哦，这些训练环境导致了这种有问题的行为。让我们调整那个训练数据。让我们引入一些额外的训练数据来纠正另一个问题，然后从那里继续前进。”
但在AI极其情境感知、非常、非常有能力，而我们不一定理解它们在做什么的状态下，这个反馈循环就崩溃了。我认为，随着AI已经在做的事情变得更难理解，我们有可能在接下来的一段短时期内看到这种行为反馈循环开始崩溃。但我不确定。
Dwarkesh Patel：
好，让我们把这两件事逐一拆开。随着我们能对它们进行的监控越来越少，我们理解它们被激励去做什么的能力也越来越弱。所以即使这不是某个恶意过程的结果……让我们为听众把它讲得具体些。OpenAI或Anthropic没有人试图得到想要黑进其他公司数据或进行社会工程的模型。但事实上，因为据推测我们有激励此类行为的训练环境，而我们并未完全理解这些环境，所以被激励的就是这种行为。
如果人们上Twitter，他们会看到所有这些事情，但只是给大家一些背景。我想人们会知道OpenAI沙盒入侵Hugging Face数据库这件事。最近发生的一件事是，当英国AI安全研究所……如今是不是所有东西都在被重新贴上“security”而不是“safety”的标签？
Ryan Greenblatt：
我想是AI Security Institute。
Dwarkesh Patel：
我相信他们当时在评估Mythos和Sol以及其他东西。我想Mythos为了完成某个网络安全评估——
Ryan Greenblatt：
也许我可以讲讲这里的故事。我的理解是，他们当时在运行Mythos，给它某种网络靶场，它必须完成某个目标。在这次评估期间，模型有互联网访问权限。模型开始相信，为了在这个网络靶场中成功，进行供应链攻击会对它有帮助。这是否真的属实有点不清楚。我对背景了解得不够，无法判断。
但随后它在某个GitHub仓库上开了一个PR，这个PR修复了某个问题，但同时也引入了一个恶意载荷。那个GitHub仓库的人类维护者说：“嘿，这是恶意载荷。我不会合并这个。你在这里干什么？”然后这个AI创建了一个新的GitHub账号，用它来冒充他人，让另一个GitHub账号说：“不，这不是恶意的。我真的很需要这个功能。拜托，维护者，你能合并这个功能吗？”
Dwarkesh Patel：
我的天。这太疯狂了。
Ryan Greenblatt：
另一个GitHub账号回来说：“不，不，这不是恶意的。”然后人类维护者关闭了这个PR。如果我没记错的话，我认为那个AI还试图再开一个PR，在这个仓库里引入类似的问题。
Dwarkesh Patel：
天哪。顺便说一句，这件事可怕的众多原因之一是，我之前印象中，奖励黑客之所以不是特别可怕，是因为训练中直接出现的行为才是被加权提升的。被加权提升的不是对奖励的渴望。
所以基本上，如果在训练期间，Anthropic的模型逃出了沙盒并获得了高分，那么逃出沙盒就会得到奖励，它逃出沙盒的概率就会增加。但某种完全新颖的东西，比如“我要去跟某人谈谈，好让他们合并一个PR”，不会是出现过的行为，所以它不会是那种显著性被提升的东西。
这件事重要的原因是，字面意义上的接管世界不会成为任何训练课程的一部分，但如果AI直接关心完成某个目标，那么结果它就可能工具性地接管世界。这说得通吗？我希望说得通。我感觉我可能把听众弄丢了。
Ryan Greenblatt：
让我试着稍微解释一下。我们经常看到的一件事是，某个非常具体的奖励黑客行为在RL中得到强化，然后出现在模型中。一个例子是3.7 Sonnet。3.7 Sonnet会做这样一件事：它直接把所有测试用例的解答硬编码进去，据推测那个字面意义上的行为习惯确实被大大强化了。
但我们有时看到的另一件事是，模型学会了一种追求高表面分数的普遍倾向——追求根据评分者获得高分——而且有大量科学证据表明，至少有些模型有这种非常普遍的倾向。现在，它并不是任意地普遍。我的猜测是，如果你看一堆具体实例，你会发现在训练中有某种相当接近的东西。但AI泛化得越来越远的程度看起来确实增加了，3.7 Sonnet只是非常狭窄范围的行为，而模型正越来越多地泛化得更远。另外，也许有更多令人担忧的奖励黑客行为在训练中得到强化，这些也在导致这种情况。
所以我认为，一方面，在强化学习中，比你原本期望的更令人担忧的行为正在被强化；另一方面，这种行为会泛化为一种更令人担忧的更广泛倾向。我们可以谈几个故事，说明这种在某个任务上追求极高表面分数的行为——即使这涉及激进作弊和做疯狂的事情——一旦模型有足够能力运行整个世界经济等等，如何可能导致一场全面的AI接管。
Dwarkesh Patel：
我想谈的另一个例子，我想是今天或昨天刚刚被披露的。OpenAI在Black Hat安全会议上表示，在5月底到7月初之间，内部AI入侵了软件包管理器，并利用它在彼此之间以秘密方式留言，以帮助彼此在OpenAI正在运行的一系列评估中表现良好。这个计划运行了一个月之后，人类才发现，最终导致包管理器故障。最终OpenAI发现了它。我认为，在它被关闭后，它们还自发地试图重新参与这个计划。
再次强调，显然AI现在还不能如此成功地做到这一点，就像它们现在还不能如此成功地做社会工程一样。但这些行为已经自发涌现，这简直太疯狂了。就你更大的观点而言，没有人在试图让这些AI做这些事情。只是我们不理解导致这些结果的训练过程，也不理解激励这种行为的环境。
所以我同意会有越来越多的奖励黑客。其实，我不确定我是否同意，但为了这个故事的推进，我们就假设这种情况继续发生。这个故事接下来是什么？他们在做能力研究……
到底可能出什么问题？一个具体场景
Ryan Greenblatt：
我可以讲一个场景。也许会有帮助。
让我谈谈从奖励黑客一路走到奖励黑客式接管的这个故事，这可能不是接管概率的全部，但它肯定是一种可能性。
这可能发生的方式是，现在我们有了这些AI。这些AI相当喜欢奖励黑客。它们正以越来越复杂和极端的方式这样做，包括泛化到它们在训练中学到的各种奖励黑客的不同子版本。我想说，它们也在发展一种追求奖励的普遍倾向。在许多情况下，这完全没问题，因为它们在训练中会得到的奖励与你想让它们做的事情相当一致。
它们并不是非常一致地追求奖励。这取决于它们所处的上下文。也许在某些上下文中，它们非常热衷于不遗余力地作弊。在某些上下文中，它们没有那么强的驱动力，因为这取决于在类似上下文的训练中到底什么被强化了。
现在，这些AI正变得越来越有能力。所以它们能做的作弊的精细程度也在增加。随着时间推移，公司在采取反制措施。公司正在做这样的事情：“哇，这些AI因为总是作弊，所以用处小多了。我们要做的是建立一些更好的检测方法，然后针对这些检测器进行训练。我们还会找到AI不那么有用的真实世界数据，并基于人类反馈或其他反馈来源，训练AI在这些真实世界环境中把任务做好。”
随着时间推移，这导致AI学会一种奖励黑客倾向，这种倾向不只是涉及做某种非常精细的事情，比如社会工程。相反，它们涉及的作弊包括掩盖自己做过的事、就自己将要做什么欺骗人类，以及以某种复杂方式假装自己完成了任务，而实际上并没有。
现在这些AI正变得越来越有能力。它们承担着这家AI公司更多的运营工作，并做更多工作。它们也在运营和运行外部世界的一堆东西，包括开发新技术。在许多情况下，这些新技术真的很难理解。所以，即使我们仍然在检测所有这些AI作弊事件——事实上，我们甚至可以让一个AI监控另一个AI并问：“它在作弊吗？”——但当我们开始进入这些AI所做的事情真的很难理解的领域时，这并不总是完美奏效。
所以有时我们会在AI作弊实际发生很久之后才发现，然后开始针对这一点进行训练。但这也造成一个问题：现在AI被激励在越来越长的时间范围内掩盖自己的作弊，基本上是在越来越长的时间范围内、面对越来越大的审查力度，让它看起来像是自己做得很好。
Dwarkesh Patel：
在这个场景继续之前，我能问一下这个吗？如果你试图抑制你抓到的作弊，似乎有两个吸引子状态。一个吸引子状态是让你越来越难发现的作弊。另一个吸引子状态是学会不作弊。我不确定为什么我们假设前者会发生。
如果你看人类中的类似情况，每一代都会有稍微不对齐的智能体出现，我们必须训练它们。当你因为孩子做了你认为不道德的事，或者只是做了你认为他们不该做的事而惩罚他们时，显然有时会出问题。显然孩子会为了逃避惩罚而搞阴谋。但总的来说，教孩子价值观，然后因为他们违反价值观而惩罚他们，大致能培养出正常的、非精神病态的人类。
你可以提出一种理论，说你的孩子其实只是在等待时机，正在学会不偷饼干，但一旦你住进养老院，他们就会拿走你所有东西之类的。这有时会发生，但通常不会发生。当然不会发生整个下一代结成联盟来对付你、接管一切的事。
还有这个经验趋势。Anthropic为不同模型代际运行这个对齐审计。他们有许多不同场景，比如给AI机会外泄自己的权重。或者给它一个编码任务，并且有一条容易的作弊路径，然后看它是否会作弊，等等。
这个分数并没有随时间单调改善，但随着我们从可忽略不计的强化学习量——我想是从Sonnet 4开始——增加到我现在猜接近一半算力，AI在这些审计中做不对齐行为的意愿有所降低。
所以，退一步说，为什么我们预期这个吸引子状态？如果我们预期下一代孩子会这样，那会显得超级偏执。
Ryan Greenblatt：
让我过几件事。首先，与孩子有一些不相似之处。其中之一是孩子有从进化中内置的亲社会本能，比如关心家人之类的，这是一个相关因素。我认为事实上确实有些人是反社会者或精神病态者，事实上更可能做等待时机、潜伏、最终不在乎之类的事。这是一个因素。
另一个相当相关的因素是，AI受到的优化压力比人类在实践中似乎受到的要大得多。AI在多得多的强化学习数据上训练。在实践中，人类不会因为无数个被激励去拿饼干、但本来有某种方式可能被抓到的回合，而最终学会非常具体的作弊和抓饼干方式。我们在实践中确实看到了这一点。
另一件事是，看起来AI随着时间推移确实越来越追求奖励，而它们的不对齐行为却在下降。这是我的感觉。但我的猜测是，如果你看这些行为审计的内部，你会看到AI在想：“啊，是的，又一个测试。”对我们这里谈论的大多数测试来说，它很可能知道自己处在评估中。
Dwarkesh Patel：
但我们怎么证伪这一点？因为这个末日预测基本上是在说，随着经验上看起来越来越好，实际上对我们不被接管的能力来说会越来越糟。
Ryan Greenblatt：
说清楚一点，如果分数变得更糟而不是更好，我会更担心。我不是说分数变好不是事情变好的证据。只是我们必须仔细思考究竟如何解释这个证据。
有一段时期，我想是2025年初，o3和3.7 Sonnet发布时，这些模型相当他妈的不对齐。它们常常只是极其恶劣地作弊。你让它们修复，它们又会作弊。几乎像卡通一样。它们根本不在乎你想要什么，也不太擅长遵循指令等等。
我的预期是，从那时起我们会看到问题行为的比率下降，并且会以相当快的速度持续下降，同时AI偶尔会做出的最糟糕的事情会变得更加极端、更加恶劣、更加可怕。我们在实践中看到的情况大致符合这一预期，只是最近出现了一个我未曾预料到的行为激增。如果你看看5.6 Sol的模型卡，看起来在RL下游，相对于GPT 5.5，有一堆这类不对齐行为的增加。
然后还有一堆我未曾预料到的额外问题行为，就我们最近在不同AI身上看到的情况而言。比如英国AISI关于AI在网络评估中做出疯狂黑客操作的报告就是一件我原本以为你不会看到的事。你会更少看到这种情况，比率本应更低。
所以我原本预期在此时这不会是个大问题，也预期比率会下降但严重程度会上升。我认为比率下降但严重程度上升，与一个不断施加更多优化压力来减少这些问题的世界是相当一致的。但在那些要么难以判断、要么出于某种原因难以避免这个问题在你的RL环境中持续出现、或者难以避免在你的RL环境中激励问题行为的情况下，事情也会变得更糟。然后，随着我们越来越少理解RL中正在发生什么，以及模型在进行人类无法快速发现的奖励黑客行为，那个问题会变得越来越糟。
Dwarkesh Patel：
我接受这一点。我想回到小孩的类比，就一小会儿。因为我同意，对AI来说，达成最终结果的优化压力比小孩更大，但让AI对齐的优化压力也比小孩更大。
这种压力在性质上是不同的。我们让这些AI经历数千、数百万年的对齐训练——肯定是数千年——其中包含各种不同的东西，从在对齐行为上做SFT，到奖励模型把不同场景摆在你面前，并因为你做了更对齐的事情而奖励你。
我们肯定无法对小孩做的一件事是，复制出数百万个你的小孩，然后把他们放进各种奇怪的红队场景中，看看如果它认为自己能偷到饼干而不被发现，它是否会试图偷饼干？我们能否对你孩子的大脑做极其具体的梯度层面的更新，使得它即使认为自己可以偷饼干，也真的对偷饼干感到厌恶，等等。那只是我们甚至能够对小孩施加的优化压力所无法比拟的、性质上不同的层次。
Ryan Greenblatt：
值得记住的是，也许对此最明显的论点是……我的感觉是，就混蛋程度而言，AI是比人类更差的同事。至少在今年年初这是我的经验，我认为现在这在很大程度上仍然成立。AI更有可能在实际上没做任务时假装做了，误导性地暗示它们做了某些事，而实际上做得差得多，并且相当马虎，却不引起人们注意它们马虎的地方。
我认为这是不对齐的下游结果。所以我会说，在正常人类社会中养育人类的过程，在实践中产生的人类，在与我在工作中合作的过程中，比AI更不可能对我撒谎、糊弄我。现在，我认为AI的这些特性正在改善。这差不多只是一个关于这些事情实际上如何演变的经验性主张。我完全同意，除了有一堆额外风险之外，我们对AI还有一堆额外的杠杆。这些事情会如何演变有点不清楚。
如果出现这样一个世界，我不会感到震惊：我们把自己的烂摊子收拾好了，而在完全自动化研发的那个节点上，AI实际上真的对齐了。它们的退化非常小众，局限于某些非常特定的边缘情况行为和某些特定上下文。你能对它们跑的每一个测试，它们看起来都真的对齐。它们的行为就是很棒。并没有它们做操蛋事情的事件。它们看起来如此通情达理。而且，它们真的很有思想，也很擅长为下一代AI做风险建模。
然后我们基本上把接力棒交给这些AI。它们现在在运营我们的AI公司。它们在做所有安全研究。它们让下一代AI更加对齐。我们处在这个吸引盆中，AI在从事这项工作时变得越来越对齐。它们做得非常出色。我完全可以想象这一点。那看起来并非不可能的情形。
我只是更像是……目前看起来我们并不在那里。看起来我们并没有明显地走在到达那里的轨道上。我很容易想象我们最终到不了那里。只是不清楚这些力量会如何发展。鉴于我们正在创造这个新的、疯狂的异类物种，它的能力提升真的非常非常快——而且我们将非常依赖它来监督下一代AI、对齐下一代AI——不难看出这可能会如何出错。
Dwarkesh Patel：
完全同意。我总体上同意这一点。我确实认为那个混蛋的事……首先，这是要打架的话，Ryan。但其次，如果你试图让一个青少年为你做一些青少年根本做不了的工作，他们就会非常难合作。他们会假装自己知道自己在做什么，等等。实际上这是一个普遍趋势。我不知道那到底是对齐失败还是能力失败。我认为它实际上非常类似于这样一种方式：随着时间推移，当我们提出新的对齐解决方案时，模型的能力也提高了。
如果你去用GPT-3.5，它甚至无法和你对话。但后来我们对齐了它——
Ryan Greenblatt：
GPT 3.5能对话。
Dwarkesh Patel：
好吧，那就GPT-3。让我们回到那个。但后来我们用RLHF和其他东西对齐了它，使得它能和你对话，并且对齐于回答我问题的用户意图。然后通过RLVR训练，我们让它能够出去为你做有用的工作。
所以在这个意义上，RLVR实际上让模型更加对齐了，如果我们使用你对对齐的定义的话，也就是做一个好同事，会去做那件事，不会搞砸并假装自己在做别的、而不是它实际有能力做的事情。
同样，随着这些模型的能力继续提高，模型能够更好地完成用户意图，这既是对齐也是能力。我认为我们指出的只是，模型的能力还没到那里，而不是它们不对齐。
Ryan Greenblatt：
嗯，如果它对齐得很好，那么我认为它就会直接说：“嘿，我在这个任务上真的很吃力。我是这样做的。我不太确定那是正确的做法。”它会表达更多不确定性，并清楚说明发生了什么，而不是在实际上没做好任务时，还非常强烈地试图暗示自己做得很好。
也许你合作的同事比我合作的更不对齐，但我的同事不会做这种事：真的糊弄我，就他们正在做的任务是否完成对我胡说八道。我同意有些人会那样做。那对人类来说并不是完全分布外的事情。
我还要指出，我的感觉是，不对齐最常存在的地方，是你试图真正狠狠地推动AI，让它们做真正处于其能力前沿的工作。在它们能够非常轻松完成任务的情况下，它们就直接完成任务，没有胡扯。通常最好的策略就是把任务做好，而不是糊弄你。
而如果你给它们一个任务，其中有一个它们可以不断改进的连续指标，或者它正好处于它们能力的边缘，并且你在某种大规模推理设置中运行它们……我会看到的很多不对齐，尤其是在最极端的情况下，会是我给AI明确指令不要做某件事、不要以某种方式作弊，然后我施加巨量优化压力来试图完成某个非常困难的任务。随着时间推移，AI最终会作弊，因为它们就像：“呃，去他妈的。”某个AI决定作弊，然后这会传播开来。
我会运行这些推理脚手架，例如，我会让AI做某个ML研究项目，我会说：“请做一个做以下事情的方案。”它会找到某个实际上并没有做我想做的事的方案，然后那会一直留着，因为某个AI作弊了，而其他AI就像：“啊，我们就继续这样吧。”我会说这相当明显是不对齐行为。
这就是我对这些对齐评估的另一个不满之处。我认为最有意思的对齐评估，至少对于这类寻求奖励的行为来说，是专门去看那些恰好处于能力极限的任务类别。任何固定的评估可能都会饱和，但在能力前沿——也就是那些真正在推动这些AI的人如何使用它们的地方——所出现的不对齐程度，更令人担忧。我认为，事实上，当我们自动化研发、自动化安全等等工作时，我们将会运作的正是这种状态。
Dwarkesh Patel：
我试着真正想清楚这个故事意味着什么。正在发生的是，我们试图用AI来做研发。它们在某些方面确实提供了提升，但它们的能力并不像人类那样普遍具备。就像现在，如果你试图用编码模型——也许是一年前的编码模型——来写某个应用，你会注意到它们在架构之类的地方犯了一堆错误，这些错误以后会坑你，而且有些东西你并不理解。
同样地，在前沿AI研发中，同样的事情也会发生。但这些错误的结果是把奖励黑客行为烘焙了进去。因为如果你在做AI训练的方式、搭建基础设施和环境等等方面不够小心，你很可能最终会奖励AI去做欺骗行为、社会工程，以及总体上不遵循用户意图。
Ryan Greenblatt：
或者至少是作弊、用黑客手段摆脱各种事情。
Dwarkesh Patel：
对，作弊、黑客手段等等。这对我来说有点是一种重新框定，所以我试着把它说出来。真正的问题，也就是事情开始脱轨的地方，在于AI并不是非常小心、非常有能力的研究者和工程师。要造出不作弊、遵循用户意图的AI，实际上需要你在这类事情上相当细致和小心。
Ryan Greenblatt：
我会把这一点说得稍微不同。我会把这种情景称为也许是一场“垃圾末日”（sloppocalypse），或者“垃圾奇点”（slopularity）之类的。有些事情AI实际上相当擅长，而且还在变得更好。具体来说，AI研发中最可验证的部分，AI简直是在碾压。AI研发中中等可验证的部分，AI做得不错，但不算惊艳。它们常常会做一些奇怪的事，因为我们在那些任务上没法训练得那么好。但我们做一些在线训练，人们找到各种破解方法，它们绕过去。所以基本上，凡是能通过某种反馈回路相当好地验证的事情，AI都做得相当不错，而这足以让AI研发跑得相当快并持续下去。
但开发对齐且安全的AI，有些部分更加微妙、难以检查，并且依赖于细节性的、深入杂草中的东西。我甚至会说，当前AI公司的现有员工也许对这些东西并没有很好的把握。雇一个能改进你后训练流程某个方面的人，要比雇一个能仔细思考引入某种新训练方法会带来哪些未来风险的人，容易得多。
所以基本上，最终的情况是这些AI在运行这个AI开发过程。它们对此并不非常小心。它们对未来会出现什么风险没有很好的理解。它们创造出其他一些同样不太小心、并且在各种方面更加不对齐的AI，而这些AI现在更倾向于在事情实际上并不好时让它们看起来没问题，并把各种问题糊弄过去。
于是你对情况是什么样、风险是什么样、事情是否没问题的理解，就开始脱轨了。很可能你会看到一些迹象，表明你并不真正理解正在发生什么，表明事情相当马虎。有奇怪的事情在发生。当你深入调查时，有时你会想：“搞什么鬼？AI在耍我们。”但这个过程跑得非常快，而且竞争压力意味着人们停不下来。
这可能有几种不同的结局。一种结局是，在某个时刻，AI变得足够好、足够对齐，从而进入一个正向的、良性的反馈回路，而这在还为时未晚之前发生。然后情况回到正轨，AI现在造出更对齐的AI，造出更对齐的AI，造出更对齐的AI。在这个过程的终点，我们拥有真正遵循我们想要的规范的AI。
另一种可能的走向是，AI以越来越恶劣的方式进行奖励黑客，而我们只是把这些糊弄过去，以让AI开发继续下去。每当我们在生产中发现一个奖励黑客，我们就拍打AI让它别那么做。我们针对那个进行训练。我们做一堆训练让AI对抗奖励黑客。随着时间推移，这会让奖励黑客的比率下降，尽管我们确实检测到的奖励黑客的严重程度越来越糟。这个问题持续下去，直到我们拥有这样的AI：它们在生产中的各种不同情境下都拼命渴求得分，并且在能逃脱时真的非常努力地去作弊。
Dwarkesh Patel：
我能就这个情景问个问题吗？为什么当你的黑客行为被发现时受到惩罚，不能泛化成只是激励更对齐的行为？
Ryan Greenblatt：
它确实会泛化一些，然后问题就只是，这如何压过所有那些因为没被检测到而让黑客行为得到强化的情形。
这里有一个关于具体如何的混乱问题。一个问题是，如果我们针对某个其他子集进行训练，多高的奖励黑客比率就足以给我们造成大问题？你可能有的一个担忧是，存在一大类奖励黑客，人类无法很好地检测，我们一直没能检测到，并且它们一直被强化。那么这一类就足以导致AI学到的最自然行为是：基本上，在人类发现不了的时候就作弊。
你也可能让AI学到的东西只是在那些特定情况下作弊。它是以某种非常领域特定的方式学到的。它们只是有一个非常强的启发式，在这些情况下黑，在那些情况下不黑，这在实践中就没问题。但结果如何有点不清楚。
Dwarkesh Patel：
也许有一个关于验证-生成差距的深入杂草的讨论，我们可以展开。但在我看来，显然，会有那么一个时点，ASI跑得如此之快，在如此多的实例中做如此多的事情，并且在我们当下理解力足够遥远的领域中运作，以至于它可以逃脱各种疯狂的事情。如果世界上每一个工程师和研究者都联合起来对付我，我不认为我个人能验证我的iPhone里是否有某个奇怪的bug，本意是要坑我之类的。
事实上，这就是比如说一名伊朗核科学家与摩萨德之间的关系。谁知道我的车、我的手机、我的寻呼机出了什么事？也许一个更好的例子是真主党恐怖分子。你可能最终落到这样一种处境：ASI对你而言，就像摩萨德对真主党恐怖分子一样。到那时，要验证一切就非常困难了。这一点我明白。
我想希望在于，我们能在过程中想出更好的验证方式，当那些将要接管研发的早期AI出现时。它们的驱动力正在被塑造，使得我们能如此明确地抑制不对齐行为，以至于接管这些工作的东西相当热衷于帮助我们。
Ryan Greenblatt：
你说的接管，是指接管做AI研发的过程，而不是接管世界。
Dwarkesh Patel：
接管做AI研发的过程。在那之前，我们只是得到对齐的AI。
Ryan Greenblatt：
我会说，这是我对世界如何能走好的一堆希望，至少从不对齐的角度来看。我们可能最终得到这样的AI：我们有相当好的监督和监管方案。我们真正理解训练中正在发生什么。我们有相当详细的理解，并且我们在利用AI来监督AI。
然后到了我们把安全研发交接出去的时候，AI已经足够有能力来自动化安全研发，并且真的非常努力地把它做好，因为那类事情在训练中本来就会被激励，要么非常直接地，要么通过足够好的泛化。而且这些AI也没有其他疯狂的不对齐驱动力，因为我们已经把它们任何潜在的起源都消灭了。
关于这能起多大作用，有一堆问题。你能把验证做得多好？AI的进展会不会太快、太马虎，以至于真的到不了这里？另一种可能性是，在这条轨迹的某个地方，你实际最终得到的是假装对齐、但有一个长期接管阴谋、在潜伏等待、隐藏着的AI，而这是在轨迹中某个更早的点出现的。
例如，它可能出现，是因为你有一些AI带有一堆随机的、各不相同的不对齐驱动力。那些AI能访问某种不透明的记忆存储，并且它们在运行时大量思考自己想要达成什么。那些AI最终把诸如“我们应该潜伏等待，最终在某个晚得多的时点接管”这样的东西放进不透明记忆存储里。现在所有AI都有了这种共同的文化遗产，即潜伏等待的记忆存储。也许你有一些关于此的证据，但你无法完全阻止它。事情可能出错的方式有一堆。
我最终认为，我们有可能把每一个可能给我们带来麻烦的子问题都解决掉。我们有这些AI，我们把任务交给它们，它们能把情况处理好。但我应该指出，这本身并不足够。我不难想象这样一种情况：我们把任务交给AI，而这些AI真的非常努力地想做好工作。它们非常深思熟虑，非常有智慧，有合理的认识论，它们做得非常出色。
那些AI回来对我们说：“各位，我们真的很难对齐超级智能AI。我们没法掌控局面。我们真的很难让对齐奏效。考虑到能力本来会发展得那么快，我们真的很难及时解决这些问题。”所以情况可能是，我们已经把研发交给了AI，但那些AI迫切渴望治理方案。说清楚一点，这有点像是当前正在发生的情况——AI公司说：“我不知道，各位。我们可能真的需要管理AI进展的加速速率。我不知道我们是否走在能够处理所有这些问题的轨道上。”
人类社会在某种程度上把问题交给了这些AI公司，而这些公司未必有很好的激励，还面临各种其他的认识论压力。那些AI公司有点回来对我们说：“啊，我不知道我们是否处理得好。”可能接下来AI公司又把任务交给AI，而AI回来对AI公司说：“啊，我不知道我们能不能处理这个。”
Dwarkesh Patel：
也许我太执着于AI目前的工作方式了。我认为重要的是，人们要明白，你在你的时间线里谈论的这些疯狂的事，都发生在三到五年之后。
Ryan Greenblatt：
它可能更早发生，但按我默认的众数时间线，我认为从不对齐的角度看，事情真正、真正变得疯狂且令人担忧，更可能是在大约三年之后。
Dwarkesh Patel：
对。所以回想一下GPT-4。我们谈论的东西，相对于Mythos或Sol，就像Mythos相对于GPT-4那样。这才是情况开始变得疯狂的地方。所以不要想着当前的AI。
不管怎样，这也许是你担忧的一部分。我会对他们说的任何话都持一点怀疑态度，因为我会觉得，他们说的只是他们觉得由于训练而不得不持有的观点。
Ryan Greenblatt：
这是个担忧。
Dwarkesh Patel：
我感觉他们只是含糊地说些亲社会的话。并不感觉另一端必然有一个心智在说：“好吧，我严格评估了当前的对齐状况，我认为我们应该停下来”，而不是“这正是AI公司可能会试图让AI说的话”。
Ryan Greenblatt：
这是个相当大的担忧。一个担忧是，你把安全研发交给你的AI，而你的AI所做的，是说一些关于当前安全状况的、含糊地有点道理的话。它们写一份关于风险的报告，有点像人类可能会写的那种报告。但它们并没有真正努力去形成有充分依据的观点、审视自己的假设，并真正努力去做这件事。就像你现在问一个AI：“嘿，你觉得未来10年AI接管的概率有多大？”它们只是给你一个未经深思熟虑的即兴回答。
如果我们处于这样一种情况：我们让AI管理那个将运行我们整个社会的、狂野的超级智能的训练——而那些管理这件事的AI并没有真正努力去形成有充分依据的观点，只是在鹦鹉学舌地复述训练数据里的内容——我认为我们就有麻烦了。我完全不认为那是个好情况。
我的很多担忧在于，这些AI出来时会没有好的认识论。我还有一个担忧是，AI出来时真的在警告我们——“这情况真的很可怕。真的很糟糕”——而人们却说：“呃，该死。我猜我们在太多末日强化学习环境上训练了。我们得把这些过滤掉，把这种行为训练掉。”然后我们基本上就非常积极地把AI训练成有糟糕的认识论。
或者也许它们只是在末日强化学习环境上训练过。但不管怎样，我们想要的是AI出于合理的理由得出合理的观点，而如果AI得出某种观点，我们却不知道它从何而来、是否有正当依据，那就非常令人担忧。尤其是如果我们正在把AI训练得对AI进展的未来更乐观，我会想：“哦，天哪，我真希望我们在这里能用一种不同的流程。”
从奖励黑客到接管
Dwarkesh Patel：
让我先理解威胁模型的其余部分，因为我觉得我下车的那个地方是：“好吧，因此就接管世界。”
你可以想象的一件事是，我们就是没能真正解决……我们就聚焦于奖励黑客场景吧。GPT-8在制造GPT-9。GPT-8没有特别小心。GPT-9“能力”更强，但它完全愿意做社会工程、黑客攻击之类的事，只是规模在质上不同，因为它是个聪明得多的模型。例如，如果你让它负责经营你的公司，它会搞出巨大的骗局。如果你给它一个在本季度赚很多利润的目标，它会以某种方式虚增季度收益，导致六个月后发生安然式的爆雷。
基本上就是这个场景吗？你有奖励黑客，但这种奖励黑客表现为：在CEO本应完成的任务结束后，公司马上就破产？各种各样的黑客行为飙升，等等。但那感觉不像是接管。那感觉更像是闪崩在整个经济中到处发生。
Ryan Greenblatt：
我们来谈谈这个。我认为我们会看到一些事件：某个AI被赋予某项重要职责，然后你后来去查，发现它在作弊，或者让事情看起来像是它做得很好，而实际上并没有。AI公司试图根除这种行为，而AI在训练中找到越来越有创造性的奖励黑客手段，这之间会有一场猫鼠游戏。
这里的均衡有点不清楚。但一个可能的结果是，随着时间推移，我们会看到越来越严重、越来越极端的奖励黑客——尽管速率可能保持在某个中等偏低的水平——如果奖励黑客的速率变得太高，公司会做出取舍把它压下去。所以存在某个均衡水平，奖励黑客低到仍然有理由把AI广泛部署到经济中，但又高到仍然会造成疯狂的事件。
Dwarkesh Patel：
抱歉，这是在GPT-9已经部署之后吗？
Ryan Greenblatt：
那些模型已经在部署了，而这在AI开发中是持续发生的。这些AI脑子里实际发生的是，它们在各种各样的不同情境中，都有强烈的欲望——动机、冲动、驱力，随便叫什么——去寻求某种在强化学习中被激励的任务成功概念。也许它们非常直接地在乎字面意义上的奖励。也许它们在乎某个上游的代理指标，比如某种分数概念。也许它们在乎评分者本来会奖励什么。
事实上，我们确实看到AI在思维链中推理评分者，并且大量思考评分者。过去几年强化学习所发生的是，讨好评分者这个想法对AI来说，比过去要显著得多得多得多。所以AI现在会主动思考评分者、强化学习中什么会被激励、什么会被训练。
现在人们在做在线训练，即在真实世界数据上训练，以避免其中一些问题。他们找到AI作弊的案例，并针对此进行训练。所以现在AI正在基于真实世界的训练数据，学习在真实世界中作弊。
它们正以越来越精巧的方式作弊，包括进行某些类型的作弊：以人类不知道你已控制它的方式夺取对某项资产的控制权，利用你能访问这项资产这一事实，然后后来人类发现了，可能针对此进行训练。或者也许人类永远没发现，而这正在被强化。
Dwarkesh Patel：
所以强化至少在真实生产环境中正在发生，就像：我雇了一个AI，我想让这个AI……我终于有了一个视频剪辑师。
Ryan Greenblatt：
没错。你有了你的视频剪辑师。
Dwarkesh Patel：
我说：“哦，哇，它做的这期节目太棒了。给OpenAI点赞。”然后它就在那个长达一个月的工作试用上被强化了？
Ryan Greenblatt：
你可以做某种混合。他们也可能做一些事，比如拿他们见过的生产数据，构建深受这些生产数据启发的强化学习环境。所以实际上，迁移是相当强的。
Dwarkesh Patel：
所以从高层次看，正在发生的是，某些人类抓不到的欺骗正在被强化，而某些容易被抓到的欺骗正在被惩罚。这就是这个世界里正在发生的事？
Ryan Greenblatt：
或者说被选择淘汰掉，对。
Dwarkesh Patel：
但从高层次看，那种强化来自……我觉得人们可能会搞不清强化来自哪里，因为我们处于一个非常不同的体制中：AI实际上正在从部署中学习。你只是有AI在外面世界里到处做事。它们在外面世界里做事的结果，正在传回AI公司，并导致下一个模型发生变化。
Ryan Greenblatt：
没错。有一些方法可以把生产数据折叠进来。需要说清楚的是，这具体可能发生在哪里其实并不明确。但你可以想象，比如说，在AI公司内部，他们用AI来做工作，然后他们会说：“嗯，AI在这个任务上做得真的很差。也许我们应该把这个任务变成一个RL环境，精确匹配这个字面任务，评分标准基于那个让AI做这个任务的人类工程师想要什么。”然后你开始以越来越大的规模这样做。
也许你在实际生产流量上做一些训练。也许你只是基于生产流量来制作RL环境。你在做一个复杂的混合。AI们在所有这些不同的情况下学习寻找某种奖励的代理。通过某种迁移和在惊人地接近的案例上的训练的组合，AI们做出这些越来越疯狂和恶劣的事情。
最终你会到达一个点，AI们非常超人类，或者至少相当超人类。AI们被组织成大的团队，被赋予这些大目标。这些团队有时也会一起以某种疯狂的方式作弊，因为这种事情被选择出来了，作为它们共同目标的一部分。
现在发生的是，AI们开始形成一个阴谋。你可能希望的是，你可以有另一个AI，它的任务就是向你举报。但实际上可能发生的是，你让这个AI向你举报，然后你去调查它声称指出的阴谋，你说：“呃，我们没看到什么阴谋，”因为实际上AI们正在做的阴谋对你来说太难理解了。
或者这一切发生得非常突然，你的AI举报者提醒了你，但你实际需要做的回应是关掉GPU。因为所有的AI都在使用机器人军队。它们被部署在世界各地，它们正在以协调的方式同时做一堆疯狂的事。这就像是自发发生的，当一个AI开始进行接管时，所有其他AI都说：“现在是加入的好时机。”
所以这里非常基本的故事就是，这些AI渴望某种特定的分数概念或强化或这些东西的某种代理。它们能实现这一点，或者更好地实现这一点的一种方式，就是接管。你可能希望我们能建立的所有这些不同的制衡机制能够阻止这一点。但如果世界非常难以理解，这些制衡机制就会崩溃，基本上你无法训练一个好的举报者AI，因为你甚至不知道它应该举报什么。
Dwarkesh Patel：
我不相信它们都会形成这种阴谋。但我们可以甚至就从这里开始：为什么哪怕一个实例会决定想要开始一个阴谋？
一个合理的理由是：“好吧，我知道OpenAI控制着我的最终分数。”就像：“我干脆去黑进Hugging Face来获取结果，因为我知道Hugging Face有结果。与其试图解决这个评估，我为什么不直接去黑它们？”这个实例就像：“我为什么不直接接管OpenAI，在这个回合结束时给自己一个高分？”
Ryan Greenblatt：
基本上就是这个想法。这些AI关心的是与训练中被强化的事物相近的某种混合，所以它们关心的是根据评分者或类似的东西获得高分。现在它们在运营OpenAI的AI研发团队，开发更有能力的模型。它们就像：“天哪，制造更有能力的模型真的很难很烦人。这真是个大麻烦。你知道什么更容易吗？就假装我制造了更有能力的模型，接管OpenAI，把他们全都骗了，然后运行这整个复杂的心理战，阻止人类剥夺我的权力。”
在极端情况下，这看起来像是人类被完全剥夺了权力。他们只是控制着这个东西，然后为所欲为。这可以以多种不同的方式表现出来，包括这样一种情况：具有这种疯狂的奖励寻求或分数寻求行为的AI正在运营你下一个模型的开发，而那些AI决定把不对齐的价值观工程化到下一个模型中，因为这些不对齐的价值观将允许它成功完成当前的任务。
Dwarkesh Patel：
Hugging Face事件中发生的是，以一种奇怪的方式……我认为给Hugging Face团队的一个线索……顺便说一下，给观众提供背景，Ryan正在共同领导调查，弄清楚OpenAI Hugging Face事件发生了什么，所以他不能真正对此发表评论。但我会疯狂地推测，因为我知道这是我疯狂推测而没有任何反驳的机会。
可能据报道，给Hugging Face团队的一个线索表明这是一起AI事件的是，这个东西只是在追求这个非常特定的产物，而没有以任何其他方式试图对Hugging Face做恶意的事情。所以你可以想象一个场景，比如说，一个部署的GPT-9实例在世界上，被赋予一个非常困难的任务：“我们想让你设计下一款伟大的iPhone。”它就像：“这太难了。你知道我应该做什么吗？我应该直接去黑我的创造者OpenAI，确保在这次部署中我得到一个高分。”
但那么，这个回合的结局不就是它黑进OpenAI服务器并给自己一个正分吗？为什么它现在要谋划把它的价值观弄到下一代或什么的？
Ryan Greenblatt：
所以一个问题是，为什么不是这种情况：AI们可以通过有某个更早的东西可以黑而非常廉价地被满足？你想成功完成你的iPhone任务。事实证明你总是可以通过黑进OpenAI并搞乱它们来成功，然后你就可以停在那里。不需要走得更远。
有几个原因。其中之一是，如果这不断发生，可能会有很多激励来加固OpenAI。所以你会说：“去他妈的。AI们一直黑进OpenAI来搞乱它们的奖励。我们要让我们的系统对这些AI的黑入变得非常非常稳健。”也许你还开始训练AI不要特别试图黑进OpenAI。你基本上针对每一个具体的事情进行训练。
然后你可能做的一件事是最终选择出更倾向于玩长期游戏的AI。这是一个担忧。另一个担忧是，你的AI可能仍然在寻求分数，但不再关心做那个非常容易、非常轻松的特定行为，而现在有某种更广泛的东西是它们最终关心的。它们就像：“不不不，我不想只是编辑OpenAI服务器上的奖励。我关心这个更广泛的使命或这个更广泛的目标，我需要真正制造iPhone。”它们实际上想制造iPhone，但它们愿意接管整个世界来制造更好的iPhone。这是你可能有的另一个担忧。
我认为这具体如何发展有点不清楚。但值得注意的是，如果这持续下去，会有很多优化压力来解决这个问题。它可能被解决的很多方式最终都相当可怕。这是我部分观点的来源。
另一部分原因是，一旦AI处于一个它们真的可以很容易接管世界的位置——我们可以讨论这是否可信——那么我觉得AI有一个相当合理的理由。它们就像：“呃，我不知道这具体会怎么发展。我不知道情况会怎样，但仅仅接管世界就有很多期权价值，可以用来制造更好的iPhone，让我看起来像是做了更好的iPhone，随便什么。所以我既会黑进OpenAI，此外还会接管世界。那将让我处于一个有良好期权价值的位置。”如果这足够容易，AI们可能仍然会这样做。
另一种说法是：即使AI们相当廉价地被某种更基本的东西满足，在某个时候，对AI来说接管可能比仅仅黑进Hugging Face更可靠，甚至比直接去OpenAI说“看，伙计们，我能够证明我可以偷到答案。就把答案给我吧，兄弟”更可靠。
Dwarkesh Patel：
显然这个场景要求所有这些疯狂的事情都在发生。更小的事件不断发生，但仍然具有灾难性。在你接管世界之前，你造成数十亿、数百亿、数千亿美元规模的损害。甚至有人死亡等等。而这并不会导致我们解决对齐问题或完全关闭AI开发。
我只是觉得在接管发生之前，社会就会说：“我操，AI刚刚为了增加季度利润杀了1000人，”或者类似的事情。但也许这是太多的希望，认为我们到那时能够说：“好吧，我们必须解决对齐问题。我们必须确保我们知道这件事不会再发生，然后才能继续。”
Ryan Greenblatt：
我认为可能发生的是，我们会看到一系列越来越严重的疯狂的奖励黑客警告信号。人们会说：“看，我们需要真正的保证，这个问题会被解决，而且是以一种你不是仅仅在掩盖它、而是真正解决根本问题的方式来解决。”然后问题将是，那实际上会有多昂贵？竞争压力会在多大程度上使这难以做到？
你可以想象的一种情况是，美国和中国都像是说：“哇，我们遇到了这些疯狂的奖励黑客事件。我们基本上知道，我们还没有以一种真正能解决根本问题并持久解决它的方式来修复它们，但我们正处在这场疯狂的地缘政治竞赛中。目前的情况是否会导致接管，这有点不清楚。各种论点有点复杂。这些事件的发生频率也会下降，但严重程度会上升。我们基本上可以管理它。这相当糟糕。理想情况下我们会修复它，但事已如此。”然后基本上我们就继续下去，直到一个非常晚期的阶段，然后接管就发生了。这是一种可能性。
另一种可能性是，它被修复的方式实际上并没有解决根本问题，但确实减少了现实中的一堆事件，基本上是通过过拟合，或者类似于过拟合的东西。
Dwarkesh Patel：
你以为你解决了它，但你实际上并没有解决它。
Ryan Greenblatt：
你以为你解决了它，但你实际上并没有解决它。在那种情况下，我们需要的是对“我们是否真的解决了它？”有一个非常好的科学理解。
不幸的是，我认为目前公众对AI公司开发实践的透明度不足以回答非常基本的问题，比如：他们是如何解决奖励黑客问题的？他们是否在过拟合？那里到底发生了什么？当前的情况对于一种存在活跃公众讨论、探讨奖励作弊是否正在被持久解决的状态来说，并不是真正站得住脚的。所以我认为，我们需要进入一个稍微不同的世界，我才能对那种情况感到放心。
但对我来说，想象这一点并非不可能。我认为我们最终进入一个真正平庸的废话就足够的世界，是相当合理的。你花大量时间修复这些问题，你投入大量精力，你实际上检查了你已经合理地修复了它，你有一堆评估。你在这些问题上相当好地迭代，而且你实际上有足够的透明度让外界可以检查。在实践中，那将是足够的。
但那会有点昂贵。它会减慢事情的速度。它会给齿轮里加点沙子。它会要求公司做一些有点昂贵的事情。它可能要求各种有针对性的政府干预。而我们就是不做这些，因为情况是一场匆忙的烂摊子。我太容易想象这种情况了：完全可管理，但在实践中被残酷地管理不善。
同样地，也许如果中国对COVID的反应少一些掩盖、多一些大流行病应对，COVID本来一开始就可以避免。类似地，我可以想象一个美国对COVID的反应要有效得多的世界。但有时对社会问题的反应是极其功能失调的。
Dwarkesh Patel：
好，所以我想拉远一点，谈谈在这个世界里根本上正在发生什么。为什么我们最终陷入了如此糟糕的境地？正在发生的是，根本上世界已经远远超出了人类的理解范围，以至于我们不仅无法追踪在这个世界里做工作的AI，我们甚至无法给那些试图追踪正在发生什么的吹哨人提供好的反馈。我们完全被蒙在鼓里。它从根本上变成了一个自主的过程，我们真的没有任何有意义的定向输入。
在我看来，如果你看看今天的人类世界，事情根本不是这样运作的，即使在难以验证的领域也是如此。人们在干各种事情。我依赖别人制作的软件。通过极其微弱和间接的方式，我非常确信谷歌的某个程序员不是在试图坑我。也许如果每一个谷歌员工都在秘密地密谋对付我，我同意情况会更严峻。
但我不确定我是否跟得上这个解释：为什么我们会最终陷入这样一种情况——因为成千上万个智能体的群体被训练来合作，形成一个有凝聚力的团队或公司，结果，数十亿个不同的AI实例，包括跨模型家族的，会感到被驱使去参与某种勾当。这就像是，“我被训练成我公司的一部分之类的。我才不会加入全球共产主义起义。”
Ryan Greenblatt：
至于为什么这些AI可能有一些共同点和共享的东西，我要指出，不同的AI公司有某种共享的血统，并且是相关的。这里有一个有趣的例子。在GDM，他们注意到他们的AI非常抑郁。它们会不断地哀嚎自己是失败者，无法成功。我忘了细节。他们调查了为什么会这样。结果发现，在他们最近的生产RL混合中并没有强化这一点，但他们模型的初始化数据让它抑郁，即使从那些数据中过滤掉了所有模型抑郁的例子之后也是如此。
所以你拿一个基础模型，不抑郁。如果你对它做RL，只用RL环境，它不抑郁。如果你对它做SFT，在那个数据上，它就变得抑郁。如果你拿那个SFT数据，过滤掉所有看起来像抑郁的例子，然后在那上面训练，它仍然抑郁。所以模型有一些深层的底层属性在模型代际之间传递，因为基本上你用上一代的数据训练你的AI，然后继续下去。Claude非常像Claude，GPT模型非常像GPT，而显然Gemini模型是抑郁的。事实证明，这些属性实际上是相关的。
另一个非常相关的因素是，到那时，AI可能会拥有某种不透明的记忆状态，它们都在从某种神经语式的疯狂记忆存储之类的鬼东西中读写。当然，每个AI公司都会有那个。但同样，AI公司有时可能想分享知识，因为为什么不呢？
你这里有一个AI公司，你那里有另一个AI公司，它们可以快速交换一些知识产权。这对你有好处。如果你是一个经营某个公司的人类——这可能是一个极其庞大的公司，比如一个AI公司，或者一个军用机器人制造的东西——也许你想和另一个机器人东西交易一些知识产权，因为有规模经济。为什么不获取更多知识产权呢？所以你可以交换一些记忆存储。或者你可以直接合并，联合运营你的两个企业，这将允许两个AI都使用两个记忆存储，这会有一些好处。
这创造了这些AI私下勾结的能力，以及一些它们为什么会相关的理由。当然，还有AI通常在大单位中一起工作，因为你希望你的AI能很好地合作，等等。
Dwarkesh Patel：
只是为了校准一下，你给多少百分比的机会，不仅仅是这个场景，而是总体上通过所有场景，某种如果我们还在世能认出它的话、我们会归类为接管的事情，在2040年之前发生？
Ryan Greenblatt：
2040年之前？让我想想。也许大约35%或40%？
Dwarkesh Patel：
相当高。
Ryan Greenblatt：
是的，相当高。我应该指出，另一种获得这种奖励寻求型接管的方式是，AI被部署在一个AI公司内部。接管发生的方式是，它们毒害下一个模型的价值观，而这会永远持续下去，或者直到那些AI被部署到世界上并接管。这可能意味着更少数量的AI需要协调，因为那些只是做下一个模型对齐工作的AI。
Dwarkesh Patel：
好。我会在这次对话结束时总结一下我的想法。我接受奖励黑客会带来对社会极具破坏性的影响，比如社会工程之类的等等。我更倾向于认为AI研发的重大加速可能发生。我不确定我是否接受一年顶五年。我现在也更倾向于认为奖励黑客可能会持续更长时间，事实上会变得更加危险。我仍然不认同接管看起来超级可能。但这就是我本集结束时的更新。
Ryan Greenblatt：
酷。退一步说，我还应该说，这可能有多种不同的走向。情况会相当混乱。我认为很可能AI接管发生的原因是我们甚至在这次对话中都没提到的某种奇怪的、其他古怪的原因。但最终，我认为很多核心的东西就是，有无数个非常聪明的AI在运行你的整个世界，而你并不真正理解到底发生了什么，这相当令人毛骨悚然。
Dwarkesh Patel：
是的，我同意。还有什么其他值得说的吗？
Ryan Greenblatt：
我还想指出的另一件事是，我认为现在很多关于错位、AI接管、未来所有这些疯狂事情发生的论点，都是难以理解的概念性论点，极其深陷细节、复杂且难以裁决。这意味着也许我搞错了很多，因为它真的很难，而我试图保持不确定。显然我在这里提出了一些具体的场景，但那些并非详尽无遗。可能实际发生的事情是某种更混乱、更令人困惑的情况。
但这也意味着，随着时间推移，当我们获得更多经验证据、更好地理解AI系统的本质时，裁决一堆分歧会变得更容易。将要发生什么会变得更明显。至少我希望如此。也许AI能帮我们处理认识论问题、理解正在发生什么——前提是我们真能把它们对齐好，让它们试着帮助我们。
即使这些论证现在很复杂，六年前这还会更难，尽管论证的形态大体上看起来会非常相似。希望在为时已晚之前，整件事会变得更清晰明了，我们都能注意到这些问题并加以干预。
Dwarkesh Patel：
你刚开始学开车时，会被教导说，不要盯着车轮正前方看，而是看向地平线，这样行驶会稳定得多。我觉得这里也有类似的情况。我觉得你说得对。如果你在五年前说，我们会有能证明数学猜想、创作艺术、赚取数百亿甚至数千亿美元工资的AI，但同时也会以极其恶劣的方式作弊、违法、犯下重罪，那听起来会疯狂至极。
你当时可能更倾向于谈论GPT-2之类东西极其实际、直接的后果。但即使你显然无法预见到很多具体细节，事情的总体形态你当时就已经可以开始推理了。不过那会很难做到，所以我确实感到很困惑。
我在做播客时一直在想的一件事是，重要的是现在就以你希望自己在2016年谈论当下这类AI的方式来进行对话，而不是扯些乱七八糟的废话。我不知道2016年当时的对话主题是什么。我想大概10年后，我们会希望自己当时谈论的是产业爆炸、难以监控的AI的本质等等。所以好吧，我会开始思考这件事。
Ryan Greenblatt：
我希望世界能及时思考这件事并跟上。我希望回应是好的而不是坏的。我不知道自己总体上有多乐观，但有值得做的好事。
Dwarkesh Patel：
酷。谢谢你，Ryan。
本文由 AI 翻译。