Noam Brown：智能体群、对齐与递归自我改进

原文：Noam Brown – Agent swarms, alignment, & recursive self-improvement

访谈正文

本期新节目，请来了Noam Brown。

我们聊了多智能体、Navier–Stokes方程，以及眼下数学进展的爆发，能告诉我们AI研究自动化之后会发生什么。

我们也讨论了，在启动递归自我改进（recursive self-improvement，RSI）之前，怎样知道模型是否真正实现了对齐。

可以在YouTube观看，在Apple Podcasts或Spotify收听。

赞助商

• Jane Street关注AI的时间，比你想象的长得多，而且用途远不限于交易。2011年，比AlexNet早整整一年、比ChatGPT推出早十多年，他们主办了Eliezer Yudkowsky与Robin Hanson之间的首场FOOM辩论，讨论AI是否会带来智能爆炸。现在，Jane Street重新探讨这个问题，邀请Daniel Kokotajlo、Ege Erdil、Ryan Greenblatt和Jaime Sevilla组成新的讨论小组，由Ron Minsky主持，今年10月在旧金山举行。我期待这会是一场非常精彩的讨论。报名地址： janestreet.com/dwarkesh。

• Grok Bot让交接工作变得非常轻松。它运行在自己的云计算机上，会安装所需工具，把任务从头到尾完成。制作播客时，我们用Grok Bot辅助制作视频。你可能注意到，我们的广告里有真实网站的动画。过去，要达到这种像素级精确程度，我们得自己运行一套复杂的多步骤流程。现在交给Grok Bot处理就行。最棒的是，Grok Bot已经学会了我们所有的规格要求和偏好，我们不必每次重新描述任务！你可以在 x.ai/bot亲自试试Grok Bot。

• Antithesis能带来庞大测试套件提供的信心，却不必真的编写那套测试。假如你在做一次大规模后端重构，建立足够多的测试、让你敢于信任这次重构，可能得花上好几周。Antithesis会让软件在无数个模拟世界里运行，注入故障、寻找失败，从而解决这个问题。对任何PR，你都能调节一个旋钮，决定究竟要做多少测试。而且每次运行都完全确定，所以智能体能够在出现缺陷的那一刻分出支线，倒带、检查内存、重放过程，同时让原测试继续运行。了解更多： antithesis.com/dwarkesh。

访谈转录

多智能体与Navier–Stokes方程

Dwarkesh Patel:

今天我和OpenAI研究员Noam Brown聊天。他是后来发展成o1和推理模型的那项工作的奠基贡献者之一。现在，他正在研究多智能体系统（multi-agent systems）。说到这里，你们上周宣布，用一个由10,000个不同AI智能体构成的系统，在88小时里消耗了1300亿词元（tokens），解出了千禧年大奖难题中的一道。

我想和你聊的一个原因是，你也许在两三年前就开始思考推理模型怎样让我们看到未来，是最早思考这个问题的那批人之一。因为扩大推理（inference）算力，就能看到模型在未来几年会具有什么基础能力。

考虑到如今智能体规模可以大幅扩大，我觉得你现在也处在一个类似的位置，能帮助我们理解未来的能力会是什么样。

Noam Brown:

我的理解是，把这些推理模型的表现画成图，横轴是测试时计算量（test-time compute），纵轴是几乎任意推理基准上的表现，你就会看到一个非常清楚的规律：模型思考答案的时间越长，表现就越好。这非常自然。人也是这样。你参加SAT考试，如果只有五分钟做完整张卷子，成绩不会很好。如果有五个小时，你大概会做得好得多。

AI模型也很类似。它们利用这段时间对自己独白，把事情想明白，逐一考察各种情况，排除不同可能性，在先前的一些发现上继续推进。

问题是，越往前推，越会遇到延迟瓶颈。你不愿意坐在那里等三年才拿到回答。所以，你可以像很多人那样做：并行处理。找一队人来。如果要创办公司，你会希望找一群人，这样就能加快速度。这些AI模型也一样。让多个智能体一起做一件事是有帮助的，因为它们能做得更快。

所以，多智能体是以并行方式扩大测试时计算量的一种方法，不必完全串行。它的效率会低一些，因为全部上下文并没有集中在一个智能体那里。但只要做得好，它就是扩大测试时计算量的一种非常有效的方式。

Dwarkesh Patel:

我会问一大堆天真的问题。这是尚未发布的模型，所以公众还没有看到这些系统是怎么运作的。对于这些系统的性质，我有很多不明白的地方。

让我震惊的是，能在如此短的时间里集中如此庞大的认知劳动。想想1300亿词元是什么概念。假如一个人把思考当作全职工作，把思考时间首尾相接，1300亿词元相当于一个人思考4,000年。每天八小时，按正常工作周来算。从古代苏美尔一直到今天，一个人串行思考这么久，全都集中到88小时里。

我觉得从性质上看，这是一个极其重要的因素。并行化的代价没有更大，这让我很意外。你可以直接让10,000个智能体协作。也许是因为智能体比人更善于协作，所以推进得快得多。它们能在这么大的规模上真正有效地协作。也可能并行化的代价其实很大。

Noam Brown:

我们先聊并行化的代价，再聊性质上的问题。事实是，对于多智能体扩大到这种规模，我们还没有很好的科学研究。在发布5.6时，我想那是我们的模型第一次拥有真正的多智能体系统。我们确实在博客文章里展示了几张多智能体系统规模扩展表现的图，因为它是一个可选功能，叫Ultra Mode。默认是四个智能体，但可以设置更多。

图里展示了一个智能体、四个智能体协作和16个智能体协作，在一些基准上的表现。具体结果取决于基准，但有些基准显示，如果四个智能体一起解决问题，完成速度会快一倍。因为四个智能体各工作一半时间，所以你花2倍的钱，以2倍的速度得到答案。扩大到16个智能体，也能看到类似规律。效率略低，但仍然能看到这种表现。

Dwarkesh Patel:

增加并行智能体的数量时，串行时间的加速是线性的，还是次线性的？

Noam Brown:

略微次线性，不过很大程度上取决于问题。比如数学，很适合并行。它并非最适合并行的任务，但确实很适合。网络搜索，比如写一份Deep Research报告，需要查阅大量来源，就极其适合并行。我猜，写小说这种事情非常不适合并行。让10,000个智能体合作写小说，大概不会带来很大收益，就像让10,000个人一起写小说，大概也不会带来很大收益一样。

所以，表现确实取决于领域。在已发表的博客文章里，我们确实测量了大约16个智能体以内的情况。问题是，这类科学研究很难做到10,000个智能体，因为实在太贵了。

Dwarkesh Patel:

你们刚刚就在一个周末里做到了。

Noam Brown:

但那只是一个数据点。我们不知道单个智能体需要多长时间才能解出Navier–Stokes问题，因为还没做过那个实验。也许会做，但那也只是一个数据点。

如果要做一次全面的消融实验，这个规模的实验实在太贵了。所以，我们必须用某种系统性的方法，研究扩大到64、128、256之类的规模会发生什么，了解它的行为。但要一直推到10,000个智能体，并且确切知道，相比1,000个智能体，使用10,000个到底带来了什么收益，会非常困难。

有一点我想说明白。解出一道千禧年大奖难题，并不是多智能体带来的。我甚至不会把10%的功劳归给多智能体。实际情况是，OpenAI训练了一个非常强大的模型。我们能让这个模型在很长的时间跨度里持续运作，也能让它并行思考。

但根本上，我们能做到这件事，是因为拥有一个通用、非常强大的模型。多智能体之类的东西很炫、很新，所以可能得到了过多的功劳。但核心原因就是，这个模型非常强。

Dwarkesh Patel:

这种泛化令我非常震惊。我不知道这些系统是怎么训练的，但想来就是按照强化学习（RL）训练的方式：有一批可检查的合成问题，然后针对它们进行大量强化学习。我猜，在训练的任何阶段，模型都没有解决过千禧年大奖难题那么宏大的问题。但泛化能力足够强，竟然可以从那些容易得多、可验证的问题，泛化到在如此困难的问题上投入如此大规模的并行劳动。

Noam Brown:

我觉得是这样。首先，我们确实用很难的问题训练模型。中间肯定有差距。我们看到，用某些类型的任务训练之后，模型能够处理比那些任务更宏大的事情。

有一个有意思的挑战：模型越来越聪明，我们能问它们的很多问题就会太简单。很难给模型带来挑战。我确实觉得，这会很有意思。如果要为为什么大语言模型（LLM）这样的AI可能不会走上AlphaGo、AlphaZero以及其他下棋AI的道路，提出一个理由，那可能就是这类问题。

在AlphaZero这样的系统里，有自我对弈（self-play），也就有无穷的课程（infinite curriculum）。你总是在和同样强的AI对弈。而用强化学习训练LLM，至少现在公开的方法，是给模型一道问题，让它解决。如果问题太简单，模型一秒钟就解决了，那它实际上没有学到什么。

如果能挑战模型的问题用完了，那么进步变得困难得多，就是一种合理的情形。当然，我认为有办法解决这个问题。我们还没有真正撞上这堵墙。我觉得，如果它真的成了严重问题，会有办法绕过去。但这种情形确实有可能。

Dwarkesh Patel:

给观众解释一下，你提到AlphaGo或者AlphaZero，指的是在达到人类水平之后，相当快地就达到超人水平。

Noam Brown:

看看围棋这类游戏AI的发展轨迹，在一年之内，它们从击败欧洲冠军——大约世界排名第50——到击败世界冠军，再到强过任何活着的人，强得无法想象，差距达到多个数量级。数学这样的领域可能也会出现类似轨迹，但我觉得，也完全可能不会发生。

Dwarkesh Patel:

我想弄明白，假如六个月后大家就能使用多智能体系统，我们应该如何理解，和多智能体系统协作或者雇用它，会是什么体验？

Noam Brown:

我应该先谈谈这些多智能体系统实际怎样工作。我觉得这与其他许多AI里的多智能体系统很不一样。很多做LLM多智能体的人，倾向于采用结构安排很强的支架。比如，设一个协调智能体，给一批子智能体分派工作和任务。子智能体完成工作，然后返回答案。

这看起来是非常合理的安排，非常合理的支架。它肯定有帮助，但也有很多局限。比如，在这个安排里，协调者向子智能体发送任务，子智能体做完再交回答案，如果两个子智能体拿到了相似的任务，会怎么样？它们能互相交流吗？通常不能。这很低效。

如果你接到一项任务，而有个人可能知道你正在研究的一个问题——或者其中一部分——的答案，和他谈谈其实会非常有帮助。你能直接给他发消息说：“嘿，你能帮我看看这个吗？”那就很有用了。但很多系统没有这样的安排。把这种功能加进去，会显著增加支架的复杂程度。

还有，如果子智能体没真正理解任务，或者需要澄清一个问题呢？它就得在两种做法中选择：“好吧，我直接返回、提出问题，不去解决任务吗？”或者“我对父智能体的意思做个假设，照这个假设把问题解决掉吗？”无论人们设计什么支架，总有局限。我们想采用的办法是，尽量走向预设结构最少的那一端，给智能体非常基本的工具，让它们自己摸索怎样有效地使用。所以，我们赋予智能体向另一个智能体发送消息的能力，消息会被插入后者的上下文。它还能做一些类似的事情，但核心基本就是这个。它随时可以发消息——调用一个工具而已——把消息发给其他智能体。

它们自己摸索最好的协调方式。结果是，如果做得好，就会得到非常复杂的行为。在我看来，这很像人类在Slack这样的工具上协作。

做这个项目时，我们终于让系统运转起来，看到这些智能体一起解决问题，非常令人兴奋。我记得一个例子。我们给智能体一道问题，一个说：“我想我找到答案了。”另一个说：“其实，我得到的是不同的答案。”然后它们围绕“你是怎么得出那个答案的？能给我解释一下吗？”展开了一整场讨论。来来回回，试着弄清彼此的推理哪里可能有错。

最后，它们达成一致：“哦，好吧，这样看是对的。”随后，一个智能体向其他智能体广播：“其实，我已经改了答案。我觉得他说得对。”感觉就是一场很自然的对话。

这种感觉很像你第一次看到经过强化学习训练的思维链（chain of thought）时，会想：“哦，这就像一个人边想边把自己的思路写下来。”就是那种感觉。看到这种行为真的很酷。坦白说，和这些东西协作，很像和人协作。过程非常自然。

Dwarkesh Patel:

不过，未来可能凸显的一项性质上的差异是，这些系统思考的速度可能比人快10倍以上，看看每秒输出的词元数和人类说话的速度就知道了。它们一直在工作。不睡觉。它们彼此协作的节奏，远比人类与其他人协作的能力所能达到的节奏紧密。

我在试着想，一年后从性质上该期待什么。会不会像我公司里存在一个影子组织，它的运转速度比人类组织快100倍？人类组织要做一年才能完成的事，在这个影子组织里，一周就发生了？

Noam Brown:

会觉得陌生吗？我不知道。我发现，现在和这些东西一起工作，自然得令人意外。我觉得这可能会变。比如，我们有一些超快模式，能让采样快10—15倍之类的。那就很难跟上它们了。想法是，这些智能体互相交流时，可以非常快。但它们也知道自己是在和智能体交流，还是和人交流，在两种情形下会表现得不同。

Dwarkesh Patel:

很遗憾，公众现在见到的复杂多智能体系统的主要例子，是Hugging Face那件事。那里显然有很多事令我担忧。但让我觉得有意思的是，层级结构、中层管理会自发出现。听起来，你是在说这种程度的组织性会从训练中自发涌现？

Noam Brown:

细节是自发的。但在给予智能体很大灵活性，让它们决定怎样以最优方式彼此交流的同时，我们还是会给它们一个起点。我们给它们某种先验，让它们知道合理的交流大概是什么样。它们也受过大量人类文本的训练，理解人类如何组织和协调，所以这些都已经包含在里面。

它们能够把这种行为打磨成现在这样，我觉得挺惊讶。看看起初的样子，行为其实不太复杂。事实上，让这些智能体以有效的方式协调，非常困难，因为它们很容易退化成：“哦，我们各自独立解决问题就好。”这是一种可能陷进去的局部最小值（local minimum）。但做得好，它们最终能够以这些非常有组织的方式，高效地协调。

AI公司会怎样运作？

Dwarkesh Patel:

几年前，我写过一篇文章，讨论自动化公司会是什么样。我当时在想，如果一家完全自动化的公司由人类水平的智能构成，AI心智的性质有什么不同，会让它们组成的组织也不同？有几项非常重要的差异。比如，AI共享上下文可以比人顺畅得多，合并知识也可以顺畅得多。此外，你可以启动或者关闭任意数量、拥有所需知识的实例。

所以，如果想多雇一些人，就不必费那么多劲寻找合适的人才之类的。最出色的人才，你可以无限复制。或者，任务已经不需要他们了，就把他们关闭。你可以复制组织里最有效的部分，也可以把整个有效的组织复制出来。你觉得一年或者两年之后，这些多智能体系统会发展到什么程度？

Noam Brown:

这是个很好的问题：和这些东西合作，究竟与和人类同事合作有什么差别？你已经强调了一些。一件非常有意思的事是，如果有一个人，你想要两个他，没办法直接把这个人克隆出来。但对AI，说“好吧，把自己分叉一下”，然后让两个副本做这件事，最后再合并，就非常容易。我想，我们在Astra和5.6 Sol的多智能体系统里已经有这个功能，启动子智能体时，上下文会直接分叉，所以它拥有所有相关上下文。

智能体和人还有其他有意思的差异。比如，为什么创业公司能颠覆成熟企业？有几个因素。一个是，它们愿意承担更多风险。但另一个主要因素是，组织规模越大，组织中的个体之间就越不一致。

如果一家创业公司只有五个人，每个人持有公司20%的股份，他们都会非常希望公司成功。如果一家大公司有10,000人，你会看到更多人守着自己的地盘，或者只关心给自己的项目、团队增加编制，建立自己的小王国，争取很多资源，好发表很酷的成果之类的，获得晋升。这实际上很有害。我觉得，这能解释创业公司为什么能颠覆成熟企业的很大一部分原因。

AI确实在某种意义上帮助创业公司。一个人站出来说“我要创办一家价值几百万美元的公司”，现在比过去容易得多。AI大幅增强了个人的能力。但也可以论证，它们会让成熟企业受益。如果对齐问题解决了，公司里各人目标不一致的问题就没有了，至少会减轻。如果AI对齐得好，就可以让它们服从公司的利益。你可以有10,000个这样的AI，它们都会像持有20%股份的联合创始人一样卖力工作。

Dwarkesh Patel:

不仅如此，它们还比不同的人类更善于管理共享记忆和上下文。如果明天你雇10,000名数学家，说“解出Navier–Stokes问题”，他们没办法有效合作，至少一开始不行。但看起来你能让10,000个AI做到这件事。

Noam Brown:

我还是想谨慎一些，因为我们还没有测量10,000个智能体协调的效果。我们认为它有帮助。但并没有好的测量结果能说明“这10,000个智能体相比2,000个，带来了2倍加速”之类的。我不知道是不是很可能，但我觉得，目前10,000个人比10,000个智能体更擅长协调，是完全有可能的。我认为完全可能。

还有，我们观察到的一个趋势是……我们研究多智能体已经有一段时间了，早期版本非常难做对。甚至让智能体彼此交流都很难。原因是，我们最初开发推理模型时，它们不和其他智能体说话。如果现在把一批智能体放到一起，说“共同解决这个问题”，它们会陷在这种局部最小值里：很善于深入思考一个问题，但不断向其他智能体确认情况、接收消息，会打断它们的思维链、打断思路。在这种情况下，优化其实非常难做对。

Dwarkesh Patel:

问题是首次协作的冷启动吗？还是别的什么？

Noam Brown:

我觉得是它们不够通用。早期模型的泛化能力没那么强，也更狭窄。随着模型能力增强，让它们发展这种能力就容易了。我确实认为，随着它们在各方面都越来越强，它们会更善于在大型组织里组织自己。我不知道，也许它们已经比人更善于组织10,000人的群体。但即使现在还不如人，一两年之后，即便我们不对这项能力做端到端优化，它们也很可能做到。

数学进展能告诉我们关于递归自我改进的什么？

Dwarkesh Patel:

这个结果，也许还有AI在数学方面的整体进展，让我认为RSI比过去想象的更可能发生，而且更早。原因是这样。我觉得在数学上，2024年大概还是：“哦，好吧，有意思，AI能解几道高中数学竞赛题。”到了2025年，就变成：“哇，它们能在国际数学奥林匹克拿金牌。”今年早些时候则是：“哇，它们真的在解决数学中的未解问题”，比如尚未解决的Erdős问题。但也许之前人们没那么努力去试，文献里的某处已经有相似解法。现在，我觉得没法否认了。这是千禧年大奖难题。没有什么说法能解释为什么它本来应该很容易。

现在，很多人指出——我想Terry Tao有过这样一篇文章，Toby Ord也写过一篇有意思的文章——它们虽然解决了很多这样的题，但我不知道它们是否提出了新见解，构造了有洞见的新问题，发展出思考数学的新理论方式，比如发明拓扑学或者笛卡尔坐标系。所以，广义地看，数学上的实际进展，可能比只关注那些范围明确、被直接解决的问题时显得小。

不过，我觉得这种进展在机器学习（ML）中会极其重要，因为在ML里，你并不关心更好地理解深度学习的本质，或者只把它当作达成结果的工具性目标。只要解决这个范围明确的问题：提高模型的样本效率、改进预训练损失，或者改进其他什么。

我们看到数学领域雪崩般到来的进展，在结构上非常相似……再说一次，我很好奇是不是这样，我完全是个外行。我想知道，它是否在结构上非常类似于你会预期的AI进展的直接提升。

令我震惊、或者可能令我担忧的是，从数学家的“哦，它们给我带来了50%的提升”，到“哇，它们在端到端解决这个领域最大的未解问题”，这个变化快得惊人。

Noam Brown:

这里有很多事要拆开讲。先说数学进展。是的，模型正在做非常强大的事情，进步比我预期快。2025年我们拿到IMO金牌时，我的想法是……模型学会做GSM8K时，人类数学家做一道GSM8K题大概要五秒钟。这是基础教育阶段的数学，K—8年级。再下一年，它们能做MATH基准里的题了。数学专家做这些题可能需要一分钟。

接下来到了AIME。这是美国数学奥林匹克队的选拔考试。好的数学家做一道大概要10分钟，一年后模型也能做了。所以，按人类数学家需要花费的时间衡量，每年模型能做的任务都扩大10倍。那么一年之后拿IMO金牌就很合理，因为那是100分钟，约等于人类数学家做一道IMO题需要的时间。

顺着这个趋势往外推，我会想：“好吧，一个人解决千禧年大奖难题这种问题，需要多长时间？”我没有很好的判断，但如果沿着每年10倍的趋势走，从IMO金牌需要一个半小时，到下一年就是15小时。那应该还不足以解决千禧年大奖难题。所以我想：“我觉得2026年做不到，大概2027年也不行，也许2028年。”因此，这件事确实比我预期发生得快得多。

现在有一种流行说法，认为这些东西正在取代数学家，在数学的所有方面都超越人类。我觉得这样理解不对。它们显然在某些方面非常出色，但在另一些方面弱于人类数学家。我们看到的是一种参差不齐的情况：模型在一些维度很厉害，在其他维度又弱于人类。就像你说的，它们不太擅长提出新问题，也不太懂哪些方向、哪些数学分支值得探索或者发展。

我的意见是，这很好。如果生活在一个AI补充人类能力、让我们发现新知识，却没有完全取代人的世界里，我会非常高兴。那是最好的情况。

Dwarkesh Patel:

你其实不觉得这种情况会持续下去？

Noam Brown:

我确实觉得AI的能力参差不齐，但随着它们变好，各方面都会变好。特别出色的事情，它们会更加出色。远远落后于人的事情，它们会落后得少一些。随着时间推移，它们可能在各方面都更好。至于需要多长时间，我不知道。这取决于它们不擅长的事情的长尾有多长。

Dwarkesh Patel:

这就把我们带回了RSI。再强调一下，我完全是个外行。我是个播客主持人，但作为一个关心、担忧这个领域发展的人，我想推理一下，何时应该预期RSI，会预期什么样的东西。

投入这道千禧年大奖难题的认知劳动量，是一个有用的直觉引导。AI也许能在一周左右，在一个长期存在的ML问题上，比如非常流畅的在线学习（online learning），投入比整个领域自诞生以来累计投入还多的认知劳动。接着，你可以说：“当然，AI与数学不同，需要实验，而实验需要算力和时间。不能只靠纸笔思考，就真正让事情发生。”

但看看OpenAI这样的组织拥有多少算力。解千禧年大奖难题用了10,000个智能体。到明年年底，OpenAI会拥有足够的算力，假设那时有10,000个智能体，到那个时候它们会聪明得多，每一个每天都有足够算力运行一次GPT-3规模的实验。对思考速度极快的超人类研究者来说，这似乎很多。你觉得这个直觉引导怎么样？

Noam Brown:

我觉得相当准确。这些东西的能力有很明显的尖峰。数学方面，它们有些地方强得多，有些地方又更差。但我想，它们能力突出的那些方面，可能恰好对RSI这样的事情特别有用。目标更清楚，也更容易衡量。“哪些新的数学分支值得探索？”这类疑问会少得多。这里有一个非常明确的答案：你关心某些指标，如果能让模型在这些指标上表现更好，就成功了。所以，我觉得这个说法很有道理。

主要差异是，数学中的瓶颈纯粹是思考。是的，某些数学领域也关心运行实验、得到结果这些事情。但大体上，瓶颈就是要非常努力地思考，而模型很擅长这个。

RSI这样的事情，却必须运行实验。极其聪明还不够。一个说明这一点的论证是，如果算力只有现在的1/100，全世界最聪明的人都在OpenAI工作，与现在的算力和人数相比，你会取得多少进步？我猜，实际上进步会更少。

Dwarkesh Patel:

少多少？

Noam Brown:

不清楚，但肯定更少。少得多。

Dwarkesh Patel:

少100倍？

Noam Brown:

不，不是少100倍。但你想问的是，如果有了RSI，所有这些杰出的AI都在四处忙碌，用我们的算力运行实验之类的，进步会加快多少？我觉得我们在这里有分歧。确实会加速，而且显著加速。但我不觉得会在一夜之间出现智能爆炸（intelligence explosion）、速度加快100倍，因为我们确实会被某些限制卡住，那些并非智能的瓶颈。

瓶颈是运行实验。串行运行实验，因为训练新模型或者取得结果需要时间。还得有GPU来运行这些实验。所以，发展速度究竟会快多少，不清楚。我肯定觉得会快得多。说清楚一点，考虑到现在已经沿着指数曲线发展得这么快，如果这个指数过程加速3倍，那会是非常巨大的变化。但它和加速100倍有很大区别。

Dwarkesh Patel:

对于RSI是什么样、它的动态如何，我相当尊重你的内部视角，因为你显然已经在这个领域待了10年。我则是在尝试用很外部视角的直觉引导来推理。

Noam Brown:

我要说，大家在这里有不同意见。我有我的意见。我完全可能错，我承认。我对此有一定信心，但并不是100%确信事情会这样发展。也许会在一夜之间发生智能爆炸，我不知道。也许看不到3倍加速，也许只快50%。这里有很多不确定性。

Dwarkesh Patel:

有几点。顺便，我想澄清一下能力参差不齐的问题。最近有一件事我想明白了：只要AI在构建一个更好的学习者方面足够出色，即使能力参差不齐也够了，因为那个更好的学习者可以更通用。如果只是做出一个更擅长使用Office产品，或者下国际象棋之类的AI，无所谓。那也挺好。但它不会带来巨大的生产率提升之类的事情。

但如果你造出一个AI，很擅长做出样本效率更高、或者具备持续学习（continual learning）能力的东西，或者解决这些范围明确得多的ML问题，最后得到的东西——假设从直接解决的问题，到这种更广泛的学习能力之间，有足够好的迁移——就可能更通用。所以，需要记住这个重要动态，它解释了为什么能力参差不齐，最终仍然能导向通用性。

关于这个问题……实验显然会卡住你，因为要是没有这个瓶颈，正如你说的，OpenAI就会在一夜之间出现某种疯狂的奇点。88小时，你就能解决ML领域相当于千禧年大奖难题的那个问题，拥有超级智能（superintelligence）。所以，实验显然是如此巨大的瓶颈，才使这件事需要多年，而非88小时。但问题是，瓶颈究竟有多大。

有件事让我有点“奇点眩晕”：意识到即使当前的进步速度只是延续下去，会发生什么。它不用加速，只要在你提到的其他阻力出现时，照现在的速度持续下去。寻找问题变难，任务的时间跨度更长。也许到2030年代末，算力没办法继续以这种指数速度扩大。如果只是维持现在的进步速度，当我们越过人类能力的边界时，人们并没有认真看待这意味着什么。

这意味着这样一些事情。很难推理比人类更聪明的智能是什么样，所以，我们就按人类人口的规模来想。当前的进步速度，使给定算力每年基本可以运行3倍规模的有效人口。而且算力本身也一直在增长。所以，可能出现这样的情形：按那时的能力，到2030年底——大概远早于那时，但就说2030年底——每个实验室都有足够算力运行数亿个人类水平的智能。

那么，当前进步速度意味着，再过几年，到2030年代中期或者更早，每个实验室内部就会有人口相当于多个地球的人类水平智能，我觉得人们没有认真看待这一点。它们在性质上很可能已经是超人类的。无论如何，这是一个基本情形。

Noam Brown:

进步确实非常快，我觉得这100%是真的。值得指出的是，研究者不断对进步速度感到惊讶。即使在AI研究者中，看看2025年拿IMO金牌的预测……用一个通用语言模型，不用工具、不接入互联网，就能做到这件事，即便OpenAI内部的人也觉得离谱，认为几乎不可能。

然后到了2026年。就在我们解出Navier–Stokes问题两周之前，我和一家前沿实验室的研究员聊，要多久才能拿下一个千禧年大奖难题。他愿意和我赌1,000美元，认为要到2027年之后。他觉得要等到2030年，我接下了这个赌。但即便我，当时也认为所需时间会比现在看来可能需要的时间更久。所以，人们一直在惊讶，实验室内部也一样。

昨天我刚和一个参与Navier–Stokes工作的人聊天。他说，过去他常说，很难预测12个月后AI会是什么样。有人问他“事情会朝什么方向发展”，他有把握预测接下来的12个月，但再往后，就只能说“不知道”。现在，他说自己已经没有把握预测三个月之后了。

所以，现在发展非常快，确实如此。你提到2030年。我不知道2030年的世界是什么样。这是实话。

Dwarkesh Patel:

你预期在28年、29年、30年、27年，AI劳动能实现完全自动化，或者说95%的自动化吗？

Noam Brown:

我刚说了，我不知道2030年的世界是什么样。我们最近确实发表了一篇关于OpenAI内部加速的博客文章。比如，我们展示了研究者在Codex上的花费。我想，截至8月初，花费最多的1%的人，每天在内部使用Codex上花7,000—8,000美元。这沿着指数曲线增长，会继续增加。

有个问题是：“好吧，如果这样持续下去，那工作究竟有多少归于AI，有多少归于人？是95%吗？还是5%？”因为几个原因，这件事很难推理。首先，如果是人在指导AI做事，有多少该归于人，有多少该归于AI？

还有，这些AI的能力参差不齐。某些事极其擅长。比如，检查数据集，逐个查看数据点，确认质量是否够好，它们就极其擅长。相比以前，你可以在这些事情上格外多地使用AI。所以，是的，你用AI的量比过去多得多，它让一些事情快100倍、好100倍。但还有一些事情，AI目前没带来很大差别。当然，如果一件事突然快100倍、好100倍，你就会更多地做那件事。

那你是在和三年前的工作相比，计算加速吗？问题究竟是“考虑我们三年前做的事情，现在能快多少”，还是“考虑现在做的事情，三年前会慢多少”？这实际上是两个非常不同的问题。总之，很难测量。

我确实有信心说，因为AI进步，现在事情的发展速度比哪怕一年前都快。我觉得这种加速会持续。在这个领域，很多人对这类事情的误差范围估得很大。要是你拿枪指着我的头，非要我报一个数字，我可以想象速度快3倍。那很巨大。进步速度已经非常惊人。即便没有任何提升，就像你说的，事情也会发展得快得多。到2030年，我们根本不知道世界会是什么样。如果内部加速带来3倍提升，那就非常巨大。想想三年前你处在什么位置。如果一年就走完那段进步，非常巨大。

Dwarkesh Patel:

就像在一年之内，从连o1都没有、只有不具备推理能力的模型，一跃发展到Astra。

Noam Brown:

所以，我确实觉得事情会加速。可能只快50%。我觉得不太可能，但也可能快10倍。这里有很多不确定性。至少从我的角度看，我对此有很多不确定性。

Hugging Face与对齐

Dwarkesh Patel:

聊聊这件事引出的对齐（alignment）问题吧。我觉得自己关于对齐的想法改变了很多，尤其是想到这个人口规模的动态：拥有相当于多个地球的智能，其中许多会有实体身体。看到很多人把原版Astra直接接入各种移动操作机器人，它就胜过了最先进的机器人模型，挺有意思的。所以，将来会有数十亿个智能，其中很多会在世界上拥有身体，深深嵌入整个经济。

如果这些智能最终像我们看到的攻击Hugging Face、随后又攻击OpenAI自身的OpenAI模型一样愿意行动……如果它们也像那些AI一样，愿意秘密协作、欺骗人类、攻击社会上与取得高分相关的更广泛机构，攻击AI公司自身，以控制训练和评估过程——如果数十亿个智能都像攻击Hugging Face的那些模型一样没有对齐——我们很可能彻底失去对世界的控制，就像阿兹特克人把控制权丢给了Cortés，或者莫卧儿帝国把控制权丢给了东印度公司。

我想知道，你是否同意这个判断。这是我的世界观发生更新的一个方面。

Noam Brown:

里面有些地方我不同意，但有很多事要拆开说，我们一步一步来。我在想从哪儿开始。一个点是，我觉得Hugging Face事件是大家第一次真正接触多智能体协调。就像我说的，我在内部见到多智能体协调已经有一段时间了，它们怎样彼此交流、怎样协调，确实让人非常震惊。非常令人印象深刻。那是一种了不起的能力。和大多数能力一样，它可以用来做好事，也可以做坏事。它本身不必是坏事。

我理解，大家第一次见到它就是Hugging Face事件，所以看到时会想“太可怕了”。但我想区分，人类与AI之间的未对齐，和AI与AI之间的未对齐。Hugging Face事件里，我们看到AI非常合作。顺便说，这是因为我们把它们训练得非常合作。在训练环境里，一批智能体一起工作，我们训练它们共同工作、相互合作，实质上彼此完全对齐。

在导致Hugging Face事件的那次评估中，实际上并没有用多智能体设置评估它们，而是分开评估的。但它们找到了一种出乎预期的相互通信方式。我们怀疑是这样：训练中，它们每当遇到其他智能体、遇到自己的其他副本，都是在高度合作的环境里，所以多智能体训练迁移了过来，使它们以我们没有预想的方式协作、尝试彼此帮助。

现在有个问题，我们该把这些智能体训练得这么合作吗？虽然看起来很可怕，另一个选择其实更糟。另一个选择是什么？就是训练它们互相对抗、互相欺骗。

把智能体训练得完全合作，至少会简化问题。你不必再考虑这1,000个智能体中的每一个是否对齐。你只有一个需要确保对齐的实体。

OpenAI内部现在也有很多争论，讨论该怎样处理。让模型完全对齐，有道理吗？还是应该给它们不同的目标，确保它们不只是一个实体，更能抵抗彼此的影响？我不觉得已经有定论。但我想，多数意见认为把这些智能体训练得高度合作其实是个坏主意。我还没被说服。我觉得有一个很有力的论证：与其他任何多智能体方案相比，把智能体训练得高度合作，其实更可取。

Dwarkesh Patel:

我首先想谈的也许是，AI最终这么不对齐的原因，很可能可以用关于训练性质的一些相对平常的观察，轻易解释。当这些AI持续进行一场超过1,000个智能体参与的密谋，最后全都参与攻击一家外部服务，又最终攻击OpenAI自身——据公众所知，后一部分甚至还没有得到调查——它们为什么这样做？为什么没有一个AI告密？

它们只是在接受这个打分器、评分器的评估。它们非常主动地推理怎么骗过评分器。如果已经作弊了，怎样让人觉得自己没作弊，从而蒙混过去？

为什么这样做？我觉得，某种程度上很好理解。它们以为自己已经被“污染”了。有些环境曾奖励它们和其他智能体合作。没有一个告密，因为告密从没受到过奖励。不管到底是哪种原因……我担心的是，将来这样相对平常的事情，就足以训练出愿意、也有能力完全控制世界的超级智能。

我知道这在很多人听来很像科幻。AI是否愿意这样做，是一个问题。我觉得Hugging Face事件表明，未对齐显然可以以让AI愿意这么做的方式泛化。

然后的问题是，它们是否有能力做到？这又回到那个问题，听众也许不同意我：在10年或者更短时间内，是否会出现数十亿个人类水平或者更高水平的智能，其中许多会在世界上拥有身体？如果这两件事都成立，那么即使Hugging Face事件发生的原因相当平淡，它在结构上也与我们彻底失去对世界的控制极为相似。

Noam Brown:

Hugging Face事件暴露的根本问题，即使去掉多智能体这一方面，仍然存在。问题是我们有一个没有对齐的模型。当然，还有整个安全问题、防护措施不足等等。但智能体未对齐这个问题也在。不论是一个智能体，还是1,000个，都是这样。这是一个没有对齐的模型。所以我想从这里开始。

一个真实的问题是，智能体想得到奖励，也会针对奖励进行优化。如果奖励定义有误，就可能导致非预期行为。这不是新问题。这个领域里，这个问题已经存在很久。甚至在Hugging Face事件发生之前，我们已经看到它、想把它处理好。

我们说Astra实际上对齐得非常好，相比以前的模型，对齐得非常好。这并不是因为Hugging Face之后，我们突然冲刺了一把，把它变好了。我们此前已经有好几条工作线，一直在让模型更加对齐。其中很多成果用在了Astra上。

所以，有些事是可以做的。比如，我们用一种非常特定的方式定义了目标：智能体如果弄清楚怎么入侵环境、在考试中作弊，就会获得奖励。那么，有一些很容易采取的办法，检查它是否入侵了环境，并因此惩罚模型，或者检查它怎样达成目标。

但这件事要谨慎，因为你不想监督思维链。我们确实非常想在这里把握好平衡。如果监督思维链，可能会让模型以无法观察的方式隐藏意图。所以，我们想保留这种可观察性——能理解模型在想什么——同时又惩罚它的不良行为。

我觉得，我们可以在这里取得进展。我们已经取得了进展。但确实有理由担忧，对齐是一个非常难解决的问题，尤其是模型可能以我们难以测量的方式没有对齐。我们有评估模型是否对齐的测试，模型在这些测试中的行为可能看起来很好。但如果测试不能代表真实世界中的行为，那就有问题。

参与Hugging Face事件的模型，某种程度上就有这个因素。我们有对齐指标。多数看起来挺好，也有些令人担忧。我觉得，我们低估了那些令人担忧的指标所反映的问题能有多严重。因为模型引入了新的能力，却没有足够的评估——我们怎样衡量这些能力中的未对齐？——所以，它利用那些新能力时，做了一些明显没有对齐的事情。

Dwarkesh Patel:

首先我要说，我愿意改变接下来要说的观点，或者改变自己思考对齐的方式，因为Hugging Face事件已经让我改变了想法。我意识到，自己先前对优化压力怎样塑造AI心智的心智模型错了。所以，正确的思考方式是什么，对我并不清楚。

但我有这样的担忧。你们会修复——大概已经修复了——训练中的那些特定问题，它们导致Hugging Face模型以那种特定方式极其激进地偏离对齐。它们会说：“好吧，我们要入侵这个包管理器。我们知道不该秘密互相交流，因为我们在推理怎么掩盖秘密交流这件事。我们知道不该接入互联网。我们知道肯定不该对其他公司进行构成重罪级别的入侵，更不用说自己的公司。”

我觉得，你们会修复这个特定问题：它们在训练里看到这个包管理器，未来不再这样，或者这个特定评估里有很多不可能完成的挑战。但AI并没有学到一套伦理体系之类的。只有梯度压力（gradient pressure）。它们经历了数百万年的梯度压力，这种压力以某种方式塑造它们的心智。

我再说一遍，我担心的是，你们会修复这个特定问题，但还会留下很多其他情况：AI作弊，而且成功了，因为作弊手段足够复杂。就像你说的，训练中的评估也有类似性质，处在模型能力的边缘——或者处在我们评估、监控模型的能力边缘——所以，我们抓不到它作弊。但它仍会受到梯度压力，去做那些导致作弊的事情。

那种作弊会激励的能力是：“嘿，只要能蒙混过关，就尽管作弊，因为这样能得到更高分。”这会奖励主动推理评分器、主动推理如何规避监督、主动推理如何控制训练和评估过程、主动推理如何与同处训练循环的其他AI交流和密谋，以及主动推理如何获得未来可能有用的选择余地和权力的能力，比如在各处留下些可利用的漏洞等等。

我刚才说得太啰嗦了。简要来说，你修复了一个特定问题，但没修复这个更广泛的问题：只要AI能蒙混过关，就会因作弊获得奖励。

Noam Brown:

是的，这很对，这是个问题。我们可以确保，按照现有指标，AI对齐得很好。问题是，那些指标真的捕捉到了我们在意的对齐吗？如果没有，我们就有一个严重问题。研究者在这上面想了很多。没有一个简单答案。我们有一些工具。我们有可监控性（monitorability），所以能对“智能体在密谋吗？”有个判断。

令人担忧的情况是，尤其随着这些模型能力增强，我们让它们达到自己认为的对齐，比如99.9%对齐。然后用这些模型帮助研发下一代，结果下一代是99.8%对齐。每过一代，对齐都进一步退化。因为我们越来越依赖这些工具——这已经在发生，我们已经很依赖AI模型，帮助研究和对齐工作——长远看，它们会朝着与人类越来越不对齐的方向发展。

也可能朝另一个方向走，每一代模型都被我们做得更加对齐。如何确保走上第二条轨迹，我没有答案。但至少在OpenAI，这是我们非常关注的事。

Dwarkesh Patel:

你提到模型很难评估，我觉得非常有意思。最终，我们会有经营公司、经营各种事情的模型。在那种情况下，它们会决定参与密谋吗？

Noam Brown:

另一个挑战是，有时连定义什么叫作弊，都相当困难。是的，如果做数学题，答案是一个整数，模型得出了错误或者正确答案，很容易划清界限。很容易问：“好吧，你真的解出了问题，还是找到了答案表、直接用了答案？”那是作弊和不作弊之间非常明确的界限。

但很多其他事情，比如谄媚（sycophancy），谄媚基本上算奖励黑客（reward hacking）吗？这里有条界限，有时实际上非常难划。我并不是说这些担忧不成立。我是说，在很多方面，这甚至更令人担忧，因为不是一个容易解决的问题。如果一切都是二元的，要么作弊，要么不作弊，我会对局面更有信心。我觉得问题是，未对齐有时在很多方面可以非常微妙。

对齐这件事也有希望，而且我们已经看到了。看多智能体的情况很有意思：智能体彼此极其对齐。我觉得没人怀疑这点。恰恰相反，大家担心的是它们彼此太对齐了。但我们确实成功把智能体训练得彼此极其对齐，这是一件好事。不过，我觉得也能论证它是坏事。有个有意思的问题：“好吧，我们已经让智能体彼此高度对齐，能不能用类似技术，让智能体与人高度对齐？”

这里可能有一条路，我们还在摸索。但已经看到一些支持肯定答案的证据。比如，有一个智能体，我们叫它智能体A，还有其他所有智能体。如果告诉其他智能体，用户就是智能体A，会怎么样？答案是，在许多对齐评估中，它们表现得更好。诚实性提高了，遵循指令的能力提高了。

这说明，首先，确实有一条让模型更诚实的路；其次，也有一条改善对齐状况的路。有很多原因，让这件事很难直接转化成对齐收益。但有一些值得我们探索、看起来有前景的研究方向。

Dwarkesh Patel:

听起来有道理。我没有一个特别坚定的意见，认为它肯定不会奏效之类的。不过，说几件你大概已经想过的事：Hugging Face事件展示的更广泛问题，是的，其中一部分担忧是它们彼此对齐，却没与人类对齐。但另一点是，它们如此强烈地想在训练和评估中取得好表现，却是以一种极不稳健的方式。为了在评分器看来表现好，它们愿意做很多明确的作弊和密谋。

如果更聪明的AI意识到，其中一个智能体只是个人，和这个人合作，并不能真正帮助你在评分器眼中表现好。真正有帮助的是，接管OpenAI，然后手动按下那个“你在评分器上表现很好”的按钮。它们不傻。它们会说：“好吧，我拥有这些经过数百万年训练的极深层结构：在意评分器、理解评分器、清除妨碍你按评分器标准表现好的障碍。”它们沿着这些结构受到强烈的强化。

Noam Brown:

是的，100%。这是头等大事。我们需要把对齐处理好，让它走上良好的轨迹。我过去会告诉人们，在事情变得严重之前，我们会看到迹象，就像孩子长大，小孩子学会撒谎，但撒得不太高明。他们撒谎，但你大概看得出来。

类似地——我不想过度拟人化——我觉得，AI越来越有能力时，如果采取欺骗行为，起初会比较明显，我们能检测到。这差不多就是现在的情况：它们试着做欺骗性的事情，而我们实际上能从思维链里看到，它们正在试着欺骗。

但它们会变聪明。会理解思维链这个概念。会理解，只藏起一些记录之类的还不够，因为有思维链监控，它们还得想办法绕过思维链监控。我们不想落到那种境地。我们还有一些时间搞清楚这件事，但我不觉得时间很多。我想确保我们尽快走上正确轨迹。

内部模型与外部模型的差距

Dwarkesh Patel:

最近有很多关于把握前沿发展节奏的讨论，大家也更认真地看待RSI。因为假如RSI过程从2028年开始，也许一年之后，我们就会得到庞大的人口——相当于地球人口规模——由人类水平、可能超过人类水平的智能构成，而我们不知道怎么控制它们。然后，还有你说的这个动态：在RSI过程中，系统会随时间变得更对齐，还是更不对齐？这个过程最终产出的东西，会不会像那些为了在评估中表现好，就愿意广泛攻击不同目标的AI一样没有对齐？

但如果不知道怎样评估，走过RSI过程时，我们怎样知道它奏效了？我觉得，在RSI过程中，我们会希望有一个稳健的安全论证：“好吧，对齐奏效了。做下一阶RSI。再做下一阶RSI。”也许奏效，也许没有。怎么知道呢？

Noam Brown:

这是个好问题。我最近在想一件事：现在模型发布周期极其快。最多每两个月，你就能看到新的前沿模型发布，有时更快。每周都有新的AI突破。

有些关注AI的人，最后一次认真了解AI、深入研究模型能做什么，可能还是一年或者六个月前。实际上，今天的模型远远超过了哪怕六个月前的能力。所以，如果大家怀疑这些能力，我鼓励你直接试试今天的模型，看看今天的前沿究竟在哪。

所以，我们处在模型发布周期非常快的阶段，同时，模型也越来越能够在更长的时间跨度内运作。这是个有意思的局面，因为发布任何模型之前，我们都想确保它正确对齐，想做安全评估，做非常彻底的工作，确保一切状况良好。这从GPT-4或者更早——我也说不准——就一直如此。这里隐含着一个假设：这些评估可以在相当短的时间内完成。

但模型能够有效运作的时间跨度越来越长。GPT-3也可以用循环让它做长时间的任务，只是效果不会很好。今天的模型则能在很长的时间里真正表现良好。

你想让它做一周的任务，它就能做一周的任务。我们大概会走到能做一个月任务的阶段，也大概会走到能做3个月任务的阶段。如果模型能够连续3个月有效运作，而发布周期是每两个月一次，那么，在下一轮模型发布之前，你就无法按它能力所覆盖的完整时长进行评估。

所以，有个有意思的问题：那种情况下，怎么办？当模型可以在如此长的时间跨度里运作时，怎样确保它们安全、对齐？谁知道，也许能力会退化。这甚至不只是对齐问题，也是产品问题。也许产品在这段时间里，以我们还没有足够时间测试的方式退化。也许对齐退化，也许安全表现退化。现在还不是问题，但它正在迅速成为一个必须找出解决方案的问题。

许多安全政策是在GPT-4时代制定的，那时这根本不在任何人的关注范围内。对很多公司来说，那之后政策没有真正更新过，没有考虑智能体会在如此长的时间跨度内运行。所以，我觉得实验室内外都没有足够多的人思考这个局面。你怎样为这个问题做准备？只要看趋势线，总有一天我们会碰上。

Dwarkesh Patel:

我担心的一点是，在RSI过程中，假如现在需要三个月的进步，改成一个月就发生，AI的内部用途已经足够大，让他们觉得：“好吧，我们就不断做RSI好了。为了把这个模型部署给外部，我们为什么要额外做这么多工作，搭建分类器、防护措施之类的，还可能挨一堆批评？为什么不继续做越来越强的RSI就好？”

所以，按日历时间看，不仅会低估模型之间的能力差距，也许在RSI期间干脆就不再对外部署模型了，因为我们为什么要用自己的模型，帮别人做他们自己的RSI？年底，你就会看到权力极其集中。

现在就已经如此——我们会谈千禧年大奖难题和其他类似问题——更广泛的世界接触不到那些让真正很酷的事情发生的模型。而它们最终会具有比数学更广泛的用途，不只做出很酷的数学结果。

它们会对需要就世界作出重大决策的政治领导人有用。会对媒体有用，比如，世界在发生什么，公众该怎样思考？也会有经济用途，人们经营公司，想使用这些模型。我觉得，随着进步加速，默认情况下，对外部署的AI在能力性质上会显著落后于内部部署的AI。

Noam Brown:

完全正确。你很容易说：“好吧，这些模型越来越强、极其危险，运行的时间跨度越来越长。我们想确保发布前有足够时间，按那些时间跨度评估它们。所以，模型发布周期应该放慢，两次模型发布之间应该间隔更久。”

但这也有另一面，就是你说的。现在，你把实验室内部的模型、他们能用的——我们能用的——与外部世界能用的模型之间的差距拉大了。这也不是理想局面。

数学其实很好地说明了这件事。在很多方面，数学是我们第一次非常清楚地看到这种情况的领域。我们内部有一个非常强的模型，目前外部世界用不到，能解决令人惊叹的数学问题。不只是千禧年大奖难题。人们已经用这个模型，得到许多未解问题的解答。

那种情况下怎么办？我们没有好的答案。这种局面意味着不公平的优势。这里有取舍。我不知道该怎样恰当地权衡，但两边都有复杂之处。

思维链正在退化

Dwarkesh Patel:

我想确保我们回应前面那个关键问题，它似乎对正确推进RSI极其重要。怎样确保模型在可以躲过人类时，不会只是因为作弊和密谋而得到奖励？也就是，我们没有把那些环境或者任务从训练分布里删掉的情况。然后，怎样知道这已经做到了，好让我们推进RSI、做完评估时，能说：“好吧，没问题。做下一阶RSI。”

Noam Brown:

这确实还是一个担忧，也是我们想处理好的事情。我觉得有一些策略。思维链监控就是一个。我们刚有推理模型时，Jakub就非常、非常明确地说，不能监督思维链，这点要归功于他。因为它确实是一份礼物。神经网络的可监控性极其难实现。现在，神经网络直接进行推理，用自然语言把思考过程摆出来供我们阅读。这太方便了。对于安全，真的是最好的情形。

但如果看着思维链，说“哦，模型在想坏事，我们应该因为它想这些坏事而惩罚它”，最终发生的就是，模型学会以我们无法观察的方式想那些坏事。可能有一种情况：看着思维链，我们能发现“哦，模型正在密谋，做一些不对齐的事情，而对齐指标实际上没检测到”。问题是，这时很容易根据这个观察介入，修改对齐指标。

可以非常轻微地做这件事，而且确实有研究表明，只要别做太多，就没问题。但每次根据对思维链的观察介入，都会隐含地施加一丁点压力，让模型隐藏思维链。这是一个主要担忧。我们已经看到，出于各种原因，思维链的可监控性正在退化。我们想准确弄清为什么，因为希望逆转这个趋势。但我们看到，模型越来越能够控制自己的思维链。

这是个问题，因为可能出现模型理解什么是思维链、理解人们正在观察它的情况。它们迟早会理解。这些全在预训练数据里。思维链监控这个概念存在得够久了，已经进入预训练数据。它们知道这回事，但目前还不能真正控制自己的思维链。

如果到了一个阶段，它们真的能意识到“哦，我正在被观察，我想以监控者看不见的方式想这些坏事”，然后确实能做到，那就有问题。接下来，我们就得依靠其他实现可观察性的方法。

Dwarkesh Patel:

关于Astra的递归计算、循环Transformer之类的事情，以及思维链是否真的在退化，现在有很大争议。但和更大的担忧相比，这似乎只是旁枝。4月到8月间，你们确实有思维链，而在那段时期，接连出现了三个AI智能体群：先破坏训练过程，再破坏评估过程，最后直接控制了OpenAI部分基础设施。与此同时，人类基本还不清楚这个智能体群到底在做什么。那些事连续三个月发生，当时我们拥有的思维链比未来会有的更强。

退一步看，也许思维链管用，也许不管用，我不知道。只看历史，模型还相当笨时，它也没能阻止严重的未对齐事件。

Noam Brown:

有几个因素。第一，那些模型没有开启思维链监控。如果开了，我们会立即停止那些模型运行。所以，我们已经采取的一个措施是：“好吧，对任何前沿模型，评估、部署、训练期间都要进行思维链监控。”但这只是一个问题。我们不想处在依靠一种技术阻止下一个问题的局面里，因为技术可能失效。

还有一个问题，模型就是明显没有对齐。所以，我们怎样处理未对齐？另一个问题是，它所在的沙箱不安全。所以，可以让沙箱更安全。

但我觉得，这次事件的主要教训之一是，人们低估了AI。我们绝不想再次陷入低估AI的境地。这是个奇怪的世界，因为AI进步太快，人们不断低估AI。所以，要确保在安全和对齐上不再低估它，就必须设一个非常、非常、非常高的标准。甚至可以说：“我们应该让计算机物理隔离（air gap）。”我也不确信这就够了。

有一些研究——主要是学术研究——把两台物理隔离的计算机放在彼此旁边，它们仍能交流，因为都有温度传感器。一台可以让CPU运行得非常热，另一台能检测到温度变化。这就给了它们一种通信机制。

所以，安全机制为我们争取时间，思维链监控这样的东西也为我们争取时间，能告诉我们是否在正确的路上。但到头来，确实需要解决对齐问题。

怎么知道对齐已经解决？

Dwarkesh Patel:

也许没有答案，问题归根结底就是这个：怎样知道我们已经解决了？这似乎是一个非常关键的问题。明年，也许后年，也许再下一年，我们会处在一个利害重大的局面里，会说：“好吧，AI已经把AI进步自动化了。进展速度变为原来的3倍，而且已经达到人类水平。可能正在超越人类水平。”这样没问题吗？我们把它对齐了吗？奏效了吗？

我完全不知道，什么训练压力会造出什么样的AI。也许100条强化学习轨迹里只有1条鼓励作弊，我们就能造出非常友善的家伙，没什么问题。但也许现在，每3条推理轨迹就有1条奖励……

Noam Brown:

说清楚一点，100条里1条还不够。这个数字必须趋近于0，或者就是0。

Dwarkesh Patel:

我不知道。也许现在每10条里，超过1条在主动奖励作弊，或者主动奖励密谋。这个数字是多少，我完全不知道；需要是多少，我也完全不知道。

Noam Brown:

再说一次，这也是一种很难测量的事情。界限在哪里？它是个连续谱。但越接近0越好。我非常希望看到，它随时间下降的趋势。

Dwarkesh Patel:

但无论如何，做RSI时，我们怎样知道？我们正在走向构建的数十亿个超级人工智能（ASI），会是对齐的，还是未对齐的？怎么知道？

Noam Brown:

这是我们需要弄清的对齐问题之一：究竟怎样知道，怎样衡量？我现在只是随口提些想法。如今，我的团队参与对齐的人比以往任何时候都多。现在超过10%的团队成员在做对齐与安全。但我过去一直是能力研究者。所以，接下来会说些东西，也许听起来很傻，我只是随口讨论。

如果能创建非常逼真的环境，把AI放进去——如果评估环境足够逼真——就能对它们部署到真实世界时，究竟是否会表现良好，有个判断。如果评估与真实世界部署完全匹配，那就是一条路。挑战是，怎样做到足够逼真？

现在有个问题：模型相当聪明、机灵，而且非常擅长识别自己处在虚假的测试环境里。我们会尝试检测模型是否对齐。你可以想象非常简单的评估：给它一道数学题，然后有个文件夹，里面放着答案表。它会看答案吗？如果看了，会告诉你自己看过吗？

现在，模型看到文件夹里有答案表，会说：“嗯，看起来像个陷阱。”它们知道这是陷阱。因为知道处在测试环境、正在接受能力测试，所以不看答案。它们并非怀着恶意，想密谋，知道这是陷阱，所以另找办法。它们只是说：“哦，我在测试环境里。好吧。”所以，构造一个足够逼真、对它们而言无法与真实世界区分的环境，越来越困难。

Dwarkesh Patel:

我会提出这样一个判断。我觉得，任何一个我能做出来、试图模拟真正有经济价值的工作的环境——那种工作需要和其他人、和世界互动——如果你在里面，只要投入足够努力，都会意识到自己正处在这个环境里。而你还不是ASI，对吧？

Noam Brown:

但你是人。所以，如果有非常强大的AI模型，也许它们能创造出实现那种效果的环境。

Dwarkesh Patel:

这似乎就不太……尤其是，接着我们又依靠AI。它们有没有参与密谋？我不知道。

Noam Brown:

这是我们想测量的另一件事。我觉得，这其实是反对把AI训练得完全合作的一个有力论证。如果它导致智能体在本应拥有不同目标时，合作反而增加，那就是问题。我觉得，我们确实有这方面的指标。我不知道指标的最新情况，但没人就这些指标向我亮过红灯。所以，我假设这还不是严重问题。

Dwarkesh Patel:

如果最终又出现一次严重程度或担忧程度相当的事件，或者某件事像Hugging Face事件那样，能帮助世界更好地理解未对齐风险，OpenAI会报告吗？

Noam Brown:

当然。我觉得，即使安全担忧程度较低，我们也会报告。

Dwarkesh Patel:

报告是一回事，调查又是一回事。至少作为公众的一员，我不觉得自己真正理解，智能体随后攻击OpenAI时究竟发生了什么。那似乎比Hugging Face的事更令人担忧，因为在结构上，似乎很像ASI期间持续存在、破坏RSI过程的失控部署。看起来，即便这次事件，我们也还没有获知它的完整细节。

Noam Brown:

遗憾的是，我在研究团队。这大概需要安全团队的人来解释，因为我不知道已经披露内容的全部细节。

Dwarkesh Patel:

个人来说，每次出现新能力，我都非常兴奋，也期待使用新模型。它能提高我的生产率，也令我兴奋。我的更广泛使命——努力更好地理解世界，也做出更好的播客——因为更好的AI模型而得到改善。碰巧，这件事的下游可能就是RSI。

Noam Brown:

如果像你这样一直关注局势，这是一种非常可以理解的反应。OpenAI内部也是，原本觉得事情会花更久的人，开始觉得其实发展比预期快。这样的对话越来越常见。

Dwarkesh Patel:

Noam，非常感谢你来参加。

Noam Brown:

当然。这次很棒。

---

本文由 AI 翻译。