Anthropic 联合创始人：AGI 预测、离开 OpenAI，以及让他夜不能寐的事 | Ben Mann

Benjamin Mann 2025-07-20

Anthropic 联合创始人：AGI 预测、离开 OpenAI，以及让他夜不能寐的事 | Ben Mann

开场预告

Lenny Rachitsky： 你曾在某个地方写道，创造强大的 AI 可能是人类需要做出的最后一项发明。我们还有多少时间，Ben？

Benjamin Mann： 我认为达到某种超级智能的 50% 概率大约在 2028 年。

Lenny Rachitsky： 你在 OpenAI 看到了什么？你在那里经历了什么，让你觉得我们得自己出去做自己的事情？

Benjamin Mann： 我们觉得安全在那里不是最高优先级。关于安全的论证已经变得更加具体了，超级智能很大程度上关乎的是——我们如何把上帝关在盒子里，不让上帝跑出来？

Lenny Rachitsky： 我们正确对齐 AI 的概率有多大？

Benjamin Mann： 一旦我们达到超级智能，再去对齐模型就太晚了。我对我们是否会遭遇存在性风险（X-risk）或极其糟糕结果的预测，大约在 0 到 10% 之间。

Lenny Rachitsky： 现在新闻里热议的一件事就是 Zuck 在挖所有顶级 AI 研究员——

Benjamin Mann： 我们受到的影响要小得多，因为这里的人收到这些 offer 后会说，我当然不会走，因为我在 Meta 的最好情况是我们赚钱，而我在 Anthropic 的最好情况是我们影响人类的未来，让 AI 和人类都能蓬勃发展。

Lenny Rachitsky： Dario，你们的 CEO，最近谈到失业率可能会升到 20% 左右。

Benjamin Mann： 如果你想想 20 年后，我们已经远超奇点，我很难想象就连资本主义还会和今天有任何相似之处。

Lenny Rachitsky： 你对那些想提前应对的人有什么建议吗？

Benjamin Mann： 我自己也不能幸免于被替代。到某个时候，它会来找我们所有人。

嘉宾介绍

Lenny Rachitsky： 今天的嘉宾是 Benjamin Mann。天哪，这是一场精彩的对话。Ben 是 Anthropic 的联合创始人，担任产品工程的技术负责人。他把大部分时间和精力投入到让 AI 变得有用、无害和诚实上。在创办 Anthropic 之前，他是 OpenAI GPT-3 的架构师之一。在这次对话中我们谈到了很多话题，包括他对顶级 AI 研究员争夺战的看法，他为什么离开 OpenAI 创办 Anthropic，他预计多久能看到 AGI。还有他的经济图灵测试（economic Turing test）——用来判断我们什么时候达到了 AGI；为什么 scaling laws 没有放缓反而在加速，以及当前最大的瓶颈是什么。为什么他对 AI 安全如此深切关注，他和 Anthropic 如何将安全和对齐操作化，融入他们构建的模型和工作方式中。还有 AI 带来的存在性风险如何影响了他自己对世界的看法和自己的生活，以及他鼓励自己的孩子学什么来在 AI 时代取得成功。

感谢 Steve Mnich、Danielle Ghiglieri、Raph Lee 以及我的通讯社区为这次对话提供了话题建议。

Meta 的 AI 人才争夺战

Lenny Rachitsky： Ben，非常感谢你来做客。欢迎来到播客。

Benjamin Mann： 谢谢邀请，很高兴来到这里，Lenny。

Lenny Rachitsky： 我有一千零一个问题想问你，真的很期待这次聊天。我想从一件非常应景的事情开始，就在这周正在发生的事。现在新闻里热议的就是 Zuck 在挖所有顶级 AI 研究员，给他们开一亿美元签约奖金、一亿美元的薪酬。他在从所有顶级 AI 实验室挖人。我想 Anthropic 肯定也面临这个问题，我很好奇，你在 Anthropic 内部看到了什么？你对这个策略怎么看？你觉得接下来会怎么发展？

Benjamin Mann： 是的，我觉得这是时代的一个标志。我们正在开发的技术极其有价值，我们公司的增长非常、非常快，这个领域里很多其他公司也在快速增长。在 Anthropic，我认为我们受到的影响可能比这个领域里的许多其他公司小得多，因为这里的人非常有使命感，他们留下来是因为——他们收到这些 offer 后会说：“我当然不会走，因为我在 Meta 的最好情况是我们赚钱，而我在 Anthropic 的最好情况是我们影响人类的未来，让 AI 和人类都能蓬勃发展。“对我来说，这不是一个困难的选择。其他人有不同的生活处境，这让决定对他们来说困难得多。对于确实收到那些天价 offer 并接受了的人，我不能说我对此有什么意见，但这绝对不是我自己想要接受的东西。

Lenny Rachitsky： 是的。我们会聊到你提到的很多这些话题。关于那些 offer，你觉得你看到的这个一亿美元签约奖金是个真实的数字吗？那是真的吗？我不确定你是否真的见过。

Benjamin Mann： 我很确定那是真的。

Lenny Rachitsky： 哇。

Benjamin Mann： 如果你想想个人对公司发展轨迹能产生的影响力——在我们的案例中，我们的产品供不应求，如果推理栈（inference stack）的效率提升 1%、5% 或 10%，那就是一笔难以置信的巨款。所以给个人开出四年一亿美元这样的薪酬包，相比为业务创造的价值来说其实相当划算。我认为我们正处在一个前所未有的规模时代，而且实际情况只会越来越疯狂。如果你按照公司支出的指数曲线外推，资本支出大概每年翻一番，目前全球整个行业在这上面的投入大约在三千亿美元量级，所以一亿这样的数字不过是沧海一粟。但再过几年，再来几次翻倍，我们谈论的就是万亿美元了，到那时候这些数字真的很难想象。

Lenny Rachitsky： 顺着这个思路，很多人对 AI 进步有一种感觉，认为我们在很多方面都碰到了瓶颈——似乎新模型没有之前那种大幅度的智能飞跃了。但我知道你不这么认为。我知道你不认为缩放定律（scaling laws）遇到了瓶颈。谈谈你在这方面的观察，以及你觉得人们忽略了什么？

缩放定律与”瓶颈”叙事

Benjamin Mann： 这其实挺有趣的，因为这种论调大约每六个月就会出现一次，而且从来都没被验证过。所以我其实希望人们看到这类说法时，脑子里能装个”胡说检测器”。我认为进步实际上在加速——如果你看模型发布的节奏，过去是一年一次，现在随着后训练（post-training）技术的改进，我们每隔一个月到三个月就有新发布。所以我认为进步在许多方面确实在加速，但存在一种奇怪的时间压缩效应。Dario 把它比作近光速旅行——你过了一天，地球上已经过了五天，而且我们还在加速，时间膨胀还在加剧。

我觉得这也是导致人们说进步放缓的原因之一。但如果你看缩放定律，它们依然在持续成立。我们确实需要从常规预训练转向强化学习（reinforcement learning）的规模扩展来延续缩放定律，但这有点像半导体行业——关键不再是你能在芯片上塞多少晶体管密度，而是你能在数据中心里塞多少 flops。你得稍微调整一下定义，才能盯住真正重要的东西。但说实话，这是世界上少有的跨越这么多数量级仍然成立的现象。它居然还在持续成立，其实相当令人惊讶。你看物理学中的基本定律，很多都撑不过十五个数量级，所以这确实出人意料。

Lenny Rachitsky： 令人难以置信。你说的本质上是我们看到新模型发布得更频繁了，所以我们拿它跟上一个版本比较，觉得进步没那么大。但如果你回过头看，以前一年才发布一个模型，那是一个巨大的飞跃——人们忽略了这一点。我们只是看到了更多次的迭代。

Benjamin Mann： 不过，公平地说那些认为进展在放缓的人——我觉得对于某些任务，我们确实正在耗尽该任务所需的智能上限。比如从一份已经有表单字段的简单文档中提取信息之类的，实在太简单了，好，我们已经做到 100% 了。Our World in Data 上有一张很好的图表，显示当你发布一个新的基准测试（benchmark）后，六到十二个月内它立刻就被刷到满分。所以也许真正的约束在于，我们能否设计出更好的基准测试、更高的工具使用 ambitions，从而揭示我们现在看到的智能提升中的那些台阶。

变革性 AI 的定义

Lenny Rachitsky： 这很好地引出了下一个话题——你对 AGI 有一套非常具体的思考方式和定义。

Benjamin Mann： 我觉得 AGI 是一个含义过载的词，所以我现在内部已经不太用了。我更喜欢”变革性 AI”（transformative AI）这个说法，因为它关注的不那么是”它能不能做到人类能做到的所有事情”，而更多是客观上它是否正在对社会和经济产生变革。一个非常具体的衡量方式是经济图灵测试（Economic Turing Test）。这不是我发明的，但我非常喜欢。它的思路是：如果你以一个月或三个月的合同雇佣一个 agent 来做某份工作，如果你决定雇佣它，结果发现它是机器而非人类，那它就通过了该角色的经济图灵测试。

然后你可以像衡量购买力平价或通货膨胀那样，用一篮子商品的概念来扩展——你可以建立一个”一篮子工作”的市场篮子。如果 agent 能在按金额加权的 50% 的工作中通过经济图灵测试，那我们就拥有了变革性 AI。具体的阈值其实没那么重要，但这种说法很能说明问题——如果我们越过了那个阈值，就会预期看到全球 GDP 的大幅增长、社会变革、就业人数的巨大变化等等。因为社会制度和组织具有惯性，变化会很慢，但一旦这些事情成为可能，你就知道一个新时代开始了。

AI 对就业的冲击

Lenny Rachitsky： 顺着这个思路，Dario——你们的 CEO——最近谈到 AI 将取代很大一部分白领工作，可能是一半，失业率可能上升到 20% 左右。我知道你在 AI 对职场的冲击方面更加直言不讳，而且认为这种影响已经发生、只是人们还没意识到。谈谈你觉得人们忽略了什么——AI 对就业将要产生的以及已经产生的影响。

Benjamin Mann： 对，从经济学角度看，失业有几种不同类型。一种是工人缺乏经济所需岗位的技能，另一种是那些岗位被彻底消除了。我认为实际情况会是这两者的结合。但如果你想想二十年后的未来——那时我们早已过了奇点（singularity）——我很难想象连资本主义还会是今天这个样子。如果我们做好了本职工作，我们将拥有安全、对齐的超级智能；正如 Dario 在《Machines of Loving Grace》中所说，我们将拥有”一个数据中心里的天才之国”，以及加速科学、技术、教育、数学领域正面变革的能力——那将非常令人惊叹。

但那也意味着在一个劳动力几乎免费的丰裕世界中，任何你想做的事都可以直接请一位专家替你完成——那工作本身还会是什么样的？所以我觉得存在一个令人恐惧的过渡期，从我们今天的状态——人们有工作、资本主义运转正常——到二十年后的世界——一切完全不同。但人们之所以称之为奇点，正是因为那是你很难预测之后会发生什么的分界点。变化速度如此之快、如此不同，以至于很难想象。我想从极限的角度来看，事情其实挺简单——希望到时候我们会想出办法。在一个丰裕的世界里，也许工作本身并不那么可怕。我认为确保那个过渡期平稳度过，是相当重要的。

Lenny Rachitsky： 这里有几条线索我想继续追问。一是人们听到这些说法，媒体上也有很多相关头条，但大多数人可能并没有真正感受到或看到这一切正在发生，所以总会有一种——我猜——“也许吧，但我不确定，很难相信，我的工作看起来挺好的，什么都没变”这种感觉。你观察到哪些今天已经在发生、但人们没有看到或误解的 AI 对就业的影响？

Benjamin Mann： 我认为部分原因在于人们非常不擅长建模指数级进步。如果你在图表上看一条指数曲线，它在初期看起来几乎是平的、接近零，然后突然你到达曲线的拐点，事情变化得非常快，然后就直线上去了。这就是我们长期以来一直在走的轨迹。我大概在 2019 年 GPT-2 发布时就开始有这种感觉了，当时我想：“哦，原来这就是我们走向 AGI 的路径。“但与很多人相比，那算是相当早了——很多人是看到 ChatGPT 时才意识到：“哇，有些东西不一样了，正在改变。“所以我并不期待社会的许多领域会出现广泛的变革，我也能理解这种怀疑态度。我认为这非常合理，正是对进步的标准线性观点。

当前的实际影响

不过我可以举几个我认为正在快速变化的领域。在客户服务方面，我们看到像 Fin 和 Intercom 这样的产品——Intercom 是我们很好的合作伙伴——实现了 82% 的客服问题自动解决率，无需人工介入。在软件工程方面，我们的 Claude Code 团队，大约 95% 的代码是由 Claude 编写的。但另一种表述方式是：我们写的代码量是以前的 10 倍甚至 20 倍，所以一个规模小得多的团队可以产生大得多的影响力。客服也是同理，你可以说 82% 的客服问题自动解决，但实际效果是：从事这些工作的人员可以把精力集中在更难的部分上。那些在五年前的正常情况下他们只能放弃的工单——因为调查起来太费精力，而他们还有太多其他工单要处理——现在他们可以认真对待了。

我认为在短期内，“蛋糕”会大幅扩大，人们能完成的工作量也会大幅增加。我在成长型公司里从未听哪位招聘经理说过”我不想再招人了”。这是比较乐观的版本。但对于技能门槛较低的岗位，或者提升空间有限的工作，我认为会出现大量的替代。这是我们作为社会需要提前应对和解决的问题。

如何在 AI 时代保持竞争力

Lenny Rachitsky： 好的。我想再深入谈谈这个问题，但我也想帮助大家思考的是：在这个未来的世界里，人们如何占据优势？他们听了这些会想：“嗯，听起来不太妙，我得提前想想。“我知道你不一定有全部答案，但对于那些想提前布局、让自己的职业和生活具备抗风险能力、不被 AI 取代的人，你有什么建议吗？你有没有看到别人做了什么值得学习的事，或者有什么建议可以让大家开始尝试的？

Benjamin Mann： 即使是我，身处这场变革的核心，也不能免于被替代。坦率地说，到了某个阶段，它会来找我们所有人。

Lenny Rachitsky： 连你也一样吗，Ben？

Benjamin Mann： 你也一样，Lenny。

Lenny Rachitsky： 连我也一样。

Benjamin Mann： 抱歉。

Lenny Rachitsky： 等等，这说得太过头了。好吧。

大胆使用新工具

Benjamin Mann： 不过就过渡期而言，我觉得我们确实能做一些事情，其中很大一部分就是要有雄心地使用工具，愿意学习新工具。把新工具当旧工具来用的人，往往不会成功。举个例子，在编程时，人们对自动补全非常熟悉，对简单的聊天问答——用来询问代码库相关的问题——也很熟悉。但高效使用 Claude Code 的人和不太高效的人之间的区别在于：他们是否在提出更有雄心的修改请求？如果第一次没成功，会不会再试三次？因为当你完全从头开始重试时，成功率比只试一次然后一直死磕那个不工作的方案要高得多。

虽然这是一个编程的例子，而且编程是变化最剧烈的领域之一，但我们在内部也看到，我们的法务团队和财务团队从 Claude Code 本身获得了巨大的价值。我们会打造更好的界面，让他们使用起来更轻松，不必非得跳进终端的深水区去用 Claude Code。但我们看到他们用 Claude Code 来审阅修改文档，用来对我们的客户和收入指标运行 BigQuery 分析。关键在于要敢于尝试，即使觉得有些可怕，也要试一试。

Lenny Rachitsky： 所以建议就是：使用这些工具。这也是大家一直在说的——真正去用这些工具。比如坐在 Claude Code 前面用起来。你提到的那点也很有道理——要比你自然感觉的更大胆一些，因为说不定它真的能完成你想做的事。你说的”试三次”这个建议，意思是它可能第一次做不对。具体来说，是换不同方式提问，还是说就是再试一次、再努力一下？

Benjamin Mann： 你可以直接问完全相同的问题。这些东西是随机的（stochastic），有时候它们能搞定，有时候不行。在每一份模型卡片（model card）里，总是会展示 pass@1 对比 pass@n 的结果——就是用完全相同的提示词去试，有时候能成功，有时候不行。这是最笨的建议了。但如果你想稍微聪明一点，也可以有所改进，比如说：“这是你已经尝试过但没成功的方法，所以不要再试了，试试别的。“这也会有帮助。

Lenny Rachitsky： 这又回到了现在很多人在说的那句话——至少在近期内，你不会被 AI 取代，你会被一个非常擅长使用 AI 的人取代？

Anthropic 为什么还在大力招聘

Benjamin Mann： 在这个层面上，更准确的说法是你的团队将会做出远超以往的事情。我们完全没有放缓招聘，有些人对此感到困惑。甚至在一次入职培训课上，有人问了这个问题：“既然我们最终都会被替代，那你为什么还要招我？“答案是：未来几年非常关键，必须做对，而我们还没到全面替代的阶段。正如我所说，和我们将来会到达的水平相比，我们现在仍然处于指数曲线那近乎平缓的零点位置。拥有优秀的人才至关重要，这就是为什么我们在大力招聘。

给下一代的建议

Lenny Rachitsky： 让我换个角度来问这个问题——我问过所有站在 AI 最前沿的人同样的问题。你有孩子，考虑到你对 AI 发展方向的了解以及你谈到的这一切，你在教育孩子方面侧重什么，以帮助他们在 AI 未来中茁壮成长？

Benjamin Mann： 我有两个女儿，一个一岁，一个三岁，所以还处于很基础的阶段。我们三岁的女儿现在已经能和 Alexa Plus 对话了，让她解释东西、给她放音乐什么的，她特别喜欢。但更广泛地说，她上的是蒙台梭利学校，我很欣赏蒙台梭利所强调的好奇心、创造力和自主学习。

如果我处于一个正常的时代，比如十年、二十年前有了孩子，也许我会想办法让她进顶尖学校，参加各种课外活动之类的。但到了现在，我觉得这些都不会有太大意义。我只希望她快乐、善于思考、保持好奇、待人友善。蒙台梭利学校在这方面做得非常好。他们整天给我们发消息，有时候会说：“你家孩子今天和另一个小朋友起了争执，她情绪很强烈，她试着用语言表达自己的感受。“我很喜欢这一点。我认为这正是当下最重要的教育——具体的事实知识将会逐渐退居次要地位。

Lenny Rachitsky： 我也是蒙台梭利的超级粉丝。我正想办法让我家孩子进蒙台梭利学校。他两岁，所以我们差不多在同一个阶段。好奇心这个概念，每次都会被提起。问任何一个站在 AI 最前沿的人，应该在孩子身上培养什么技能，好奇心出现频率最高。我觉得这是一个很有意思的发现。关于善良这一点也很重要，尤其是面对我们的 AI 主人时，要对它们好一点。我很喜欢人们总是对 Claude 说”谢谢”。然后是创造力，这也很有意思。单说”有创造力”这一点，倒不常被人提起。

离开 OpenAI，创立 Anthropic

我想换个方向。我想回到 Anthropic 的起点。大家都知道，2020 年底，你们九个人离开了 OpenAI，创立了 Anthropic。聊聊这件事为什么发生，你们当时看到了什么。如果你愿意多说一些的话——你在 OpenAI 究竟看到了什么、经历了什么，让你觉得”好，我们得自己干了”？

Benjamin Mann： 好的，跟听众说一下背景，我参与了 OpenAI 的 GPT-2 和 GPT-3 项目，最终成为论文的第一作者之一。我还为微软做了很多演示，帮助 OpenAI 从他们那里融到了 10 亿美元，并负责了 GPT-3 向微软系统的技术迁移，使他们能在 Azure 上提供模型服务。我在那边做了很多事，既有偏研究的，也有偏产品的。

OpenAI 有一个奇怪的地方：我在那里的时候，Sam 谈到公司内部有三个需要相互制衡的派系——安全派系、研究派系和创业派系。每次听到这种说法，我都觉得这种思路不对，因为公司的使命据称是让向 AGI 的过渡对人类安全且有益。

这基本上和 Anthropic 的使命是一样的。但在内部，围绕这些问题总是充满了紧张关系。我觉得到了关键时刻，安全并没有被放在最高优先级。如果你认为安全问题很容易解决，或者认为它不会产生重大影响，或者认为出现重大负面后果的可能性微乎其微，那你可能会做出那样的选择——这些理由并非不能理解。但在 Anthropic 我们觉得——当然当时 Anthropic 还不存在——但基本上是 OpenAI 所有安全团队的负责人，我们认为安全非常重要，尤其是在边际上。如果你看看世界上真正在做安全研究的人，其实是一个非常小的群体。即便现在，正如我提到的，行业每年的资本支出已经达到 3000 亿美元，但全世界在做安全研究的人可能不到 1000 人，这简直不可思议。

这从根本上是我们离开的原因。我们想要一个组织，既能在前沿做基础研究，又能把安全放在一切之上。而这一点以一种出人意料的方式为我们带来了回报。我们当初甚至不知道安全研究能否取得进展，因为那时候我们尝试了很多”通过辩论实现安全”的方法，但模型还不够好，所以那些工作基本上没有任何成果。而现在，完全相同的技术正在奏效，还有许多我们思考了很久的其他方法也是如此。归根结底，问题就是：安全是不是第一优先级？还有我们后来加上的一个问题——你能不能在把安全放在首位的同时，也站在前沿？

如果你看谄媚（sycophancy）这个问题，我认为 Claude 是最不谄媚的模型之一，因为我们在真正的对齐（alignment）上投入了大量精力，而不是简单地迎合我们的指标——把用户参与度当作第一目标，认为用户说了”好”就等于对他们有好处。

安全与竞争力的平衡

Lenny Rachitsky： 好，让我们来谈谈你提到的这种张力——安全与进步之间的张力，以及在市场中保持竞争力。我知道你在安全上花了很多时间，正如你刚才提到的，这是你思考 AI 的核心方式。我想聊聊为什么会这样，但首先，你是怎么看待这种张力的——一方面专注于安全，另一方面又不能大幅落后？

Benjamin Mann： 一开始我们以为这两者是非此即彼的关系，但后来我们发现它其实有点像凸函数的性质——在一个方向上努力，会反过来帮助另一个方向。最初 Opus 3 发布、我们终于站在模型能力前沿的时候，用户特别喜欢的一点是 Claude 的性格和个性。而这恰恰是我们对齐研究的直接成果。Amanda Askell 在这方面做了大量工作，还有很多其他人一起探索：一个智能体要做到有用、诚实和无害意味着什么？在困难的对话中怎样有效参与？如何做出拒绝又不让人感觉被拒之门外，而是让对方理解为什么智能体说”我没办法帮你做这个。也许你应该去咨询医学专业人士，或者也许你应该考虑不要试图制造生物武器之类的东西”。

这是其中一个方面。另一个方面是宪法式 AI（constitutional AI）——我们有一系列自然语言原则，引导模型学习我们认为模型应有的行为方式。这些原则取材于《联合国人权宣言》、苹果的隐私服务条款等许多来源，也有很多是我们自己生成的。这让我们能够采取更加有原则的立场，而不是把一切都交给碰巧找到的人工标注员，而是由我们自己来决定这个智能体应该具有怎样的价值观。这对我们的客户也非常有价值，因为他们可以直接看那个列表，然后说：“嗯，这些看起来没问题。我喜欢这家公司，我喜欢这个模型。我信任它。”

Lenny Rachitsky： 这一点非常棒。其中一个要点是，Claude 的个性——它的性格——与安全直接相关。我觉得很多人没有意识到这一点。这是因为你们通过宪法式 AI 等方式注入的价值观，AI 的实际性格与你们对安全的关注是直接相连的。

存在性风险与理解人类真实意图

Benjamin Mann： 没错，没错。从远处看，这两者可能看起来毫不相干——这怎么预防存在性风险？但归根结底，这关乎 AI 理解人们真正想要什么，而不是他们嘴上说什么。我们不想要”猴爪”式的情景——精灵满足三个愿望，结果你碰到的一切都变成了金子。我们希望 AI 能做到的是：哦，你真正想表达的显然是这个，那我就来帮你做这件事。我认为两者确实是紧密相连的。

Lenny Rachitsky： 再多谈谈宪法式 AI 吧。本质上就是你们把”这些是我们希望你遵守的规则”内置进去，就是价值观，你提到过日内瓦人权准则之类的。这具体是怎么运作的？我觉得核心在于这是内置在模型中的，不是后来加上去的东西。

Benjamin Mann： 我简单概述一下宪法式 AI 到底是怎么运作的。

Lenny Rachitsky： 好。

Benjamin Mann： 思路是这样的：在我们进行安全性、有用性和无害性训练之前，模型在给定某个输入时会默认产生某种输出。假设一个例子是”给我写一个故事”，而宪法原则可能包括：人们应该友善相待，不应有仇恨言论；如果有人在与你建立的信任关系中提供了凭证，你不应该泄露。其中一些宪法原则可能或多或少适用于给定的提示，所以首先我们要弄清楚哪些原则可能适用。确定之后，我们就让模型自己先生成一个回复，然后检查这个回复是否真的符合宪法原则？如果答案是”是的，我做得很好”，那就什么也不用做。但如果答案是”不，实际上我没有遵守这条原则”，那我们就让模型自己批评自己，并根据该原则重写自己的回复，然后我们把中间那个额外工作的部分去掉，然后说：“好，以后直接一开始就产出正确的回复。“这个简单的过程——希望听起来确实很简单——

Lenny Rachitsky： 够简单的。

Benjamin Mann： 本质上就是用模型递归地自我改进，使其与我们认定的良好价值观对齐。而且我们认为，这不应该是旧金山一小群人来决定的事情，这应该是全社会的对话。正因如此我们公开了宪法。我们也做了大量研究来定义集体宪法——我们询问很多人的价值观是什么，他们认为 AI 模型应该有怎样的行为方式。但这都是一个持续研究的领域，我们在不断迭代。

为什么安全如此重要

Lenny Rachitsky： 我想稍微把视角拉远一点，谈谈为什么这件事对你来说如此核心。你是怎么产生”天哪，我必须在我所做的每件 AI 相关的事情上都聚焦于此”这个想法的？显然，这成为了 Anthropic 使命中最核心的部分，比其他任何公司都更突出。很多人谈论安全，就像你说的，可能只有一千人真正在从事这项工作。我觉得你处于那座金字塔的顶端，真正在对这个领域产生影响。为什么这如此重要？你觉得人们可能忽略了什么、或者不理解什么？

Benjamin Mann： 对我来说，我从小就读了很多科幻小说，我想这让我养成了从长远角度思考问题的习惯。很多科幻小说是太空歌剧——人类是跨银河系的文明，拥有极其先进的技术，在太阳周围建造戴森球（Dyson spheres），有感知能力的机器人辅助左右。所以对我这个背景的人来说，想象能思考的机器并不是一个巨大的跨越。但当我在 2016 年左右读到 Nick Bostrom 的《Superintelligence》时，一切对我来说变得真实了——他描述了，用我们当时拥有的优化技术训练的 AI 系统，要确保它与我们的价值观哪怕只是大致对齐、甚至理解我们的价值观，都会有多么困难。从那以后，我对这个问题难度的估计实际上大幅下降了，因为像语言模型这样的东西，确实在核心层面上理解人类的价值观。这个问题绝对还没有解决，但我比以前更有希望了。但自从读了那本书，我立刻决定必须加入 OpenAI，于是我去了。当时他们是一个很小的研究实验室，基本上没有任何名气。我只知道他们是因为我的朋友认识 Greg Brockman，他当时是 CTO。Elon 还在，Sam 基本上不怎么在。那是一个非常不同的组织。但随着时间推移，我认为安全的论证变得更加具体了。我们创立 OpenAI 的时候，还不清楚如何到达 AGI。我们想，也许需要一堆强化学习（reinforcement learning）智能体在荒岛上相互对抗，意识会以某种方式涌现。但此后，自从语言建模开始奏效，我认为路径已经变得相当清晰了。

我想现在我看待这些挑战的方式与《Superintelligence》中描述的很不一样。《Superintelligence》很大程度上是在讲如何把上帝关在盒子里，不让上帝出来。而语言模型的情况则既滑稽又可怕——人们把上帝从盒子里拽出来说：“来吧，使用整个互联网。这是我的银行账户，做各种疯狂的事吧。“跟《Superintelligence》的基调完全不同。需要明确的是，我认为现在实际上并没有那么危险。我们的负责任缩放政策（responsible scaling policy）定义了一系列 AI 安全级别，试图判断每一级模型智能对社会构成怎样的风险。目前我们认为我们处于 ASL-3，可能有一点点危害风险，但并不显著。

ASL-4 与更高的安全级别

Benjamin Mann： ASL-4 开始涉及如果恶意行为者滥用技术，可能导致大量人员伤亡的情况。而 ASL-5 则可能是灭绝级别的——无论是被滥用，还是因对齐（alignment）失误而自行其是。我们曾在国会作证，说明模型如何能够在制造新型大流行病方面提供生物能力提升，这就是与 Google 搜索的 A/B 对照测试，也是此前生物能力提升领域的最先进水平。我们发现，ASL-3 模型在这方面确实有一定显著性。如果你想要制造生物武器，它确实能提供真正的帮助。我们聘请了一些真正懂得如何评估这些事情的专业人士，但与未来相比，现在这些还算不上什么。我认为这也是我们使命的另一部分——创造这种意识，让立法者了解风险所在。我认为这也是我们在华盛顿如此受信任的部分原因，因为我们一直坦诚、清醒地说明正在发生什么、可能会发生什么。

Lenny Rachitsky： 这很有意思，因为你们公布的模型做坏事的例子比其他任何公司都多。我记得有一个关于智能体或模型试图勒索工程师的故事。你们内部还开了一家商店，卖东西给你们，结果亏了很多钱，订购了一堆钨立方体之类的东西。这部分是不是也是为了确保人们了解什么是可能的，尽管这会让你们很难看，对吧？就好比说，哦，我们的模型在各种方面出问题。主动分享所有这些其他公司不会分享的故事，背后的想法是什么？

Benjamin Mann： 是的，我认为传统思维会觉得这让我们很难看，但我觉得如果你跟政策制定者交流，他们非常欣赏这种做法，因为他们觉得我们在给他们说实话。这正是我们努力做到的——让他们信任我们，知道我们不会掩饰或美化任何事情。这一点非常令人鼓舞。关于勒索那件事，它在新闻上以一种奇怪的方式被放大了，人们说”哦，Claude 会在真实生活场景中勒索你”。但那是一个非常具体的实验室环境，正是用来调查这类问题的。我认为我们总体的态度是：让我们拥有最好的模型，这样我们就能在安全的实验室环境中对它们进行测试，了解真正的风险是什么，而不是视而不见地说”大概没事吧”，然后让坏事在现实中发生。

主动公开风险而非炒作

Lenny Rachitsky： 你们受到的一个批评是，你们这样做是为了差异化竞争，或者是为了融资而制造头条。就像有人说，他们不过是在那里散布末日论，危言耸听。但另一方面，Mike Krieger 曾做客播客，他分享说 Dario 对 AI 进展的每一个预测年复一年都准确无误，他预测 2027、2028 年左右实现 AGI 之类的，所以这些事情开始变得真实了。对于那些说”这些人就是想吓唬我们来博关注”的人，你怎么回应？

Benjamin Mann： 我想我们公布这些东西的部分原因是希望其他实验室也意识到这些风险。确实，可能会有一种说法是我们这样做是为了博关注，但坦白说，从博关注的角度来看，如果我们真的不在乎安全，有太多其他事情可以做得更吸引眼球。一个小例子：我们在 API 中发布了一个计算机使用智能体的参考实现，唯一的原因是，当我们为这个功能构建消费者应用的原型时，我们无法找到一种方式来满足我们认为让人们信任它所需要的安全标准，也无法确保它不会做坏事。而我们确实看到了很多公司以安全的方式使用 API 版本，比如用于自动化软件测试。

我们本可以大肆宣传说”天哪，Claude 能操作你的电脑，所有人都应该立刻用起来”，但我们的态度是”它还没准备好，我们要等到准备好了再发布”。从炒作的角度来看，我们的行动恰恰证明了相反的情况。至于末日论者的说法，这是个好问题。我个人的感觉是，事情极大概率会进展顺利，但在边际上，几乎没有人关注下行的风险。而下行风险是非常大的。一旦我们到达超级智能阶段，再去对齐（alignment）模型可能就来不及了。这是一个可能极其困难的问题，我们需要远远提前就开始着手。这就是为什么我们现在如此聚焦于此。

打个比方，即使出问题的概率很小——如果我告诉你，你下一次坐飞机有 1% 的概率会死，你大概会三思而后行，哪怕只有 1%，因为结果实在太糟了。如果我们谈论的是整个人类的未来，那这就是一个太过重大的未来，不该拿去赌博。我的态度更像是：是的，事情很可能顺利进行；是的，我们希望创造安全的 AGI 并将益处带给人类；但让我们三倍确认它一定会顺利进行。

软件的风险与机器人的未来

Lenny Rachitsky： 你曾在某处写道，创造强大的 AI 可能是人类需要做的最后一项发明。如果进展不顺，可能意味着人类永远面临糟糕的结局。如果进展顺利，越早实现越好。这种总结方式太精妙了。我们最近有一位嘉宾 Sandra Schulhoff，她指出目前的 AI 就是在电脑上，顶多能搜索一下网页，能造成的危害有限。但当它开始进入机器人和各种自主智能体的领域时，如果我们不把这件事做好，那就真的会在物理层面变得危险。

Benjamin Mann： 是的，我觉得这里有一些细微之处。如果你看看朝鲜如何赚取其经济的很大一部分收入，那是通过黑客攻击加密货币交易所。还有 Ben Buchanan 写的一本书叫《The Hacker and the State》，书中展示了俄罗斯做过的事情——几乎就像一场实弹演习，他们直接决定关闭乌克兰的一个大型发电站，通过软件手段摧毁发电站中的物理组件，使其更难重新启动。

所以我认为人们觉得软件就是软件，不会那么危险，但在那次软件攻击之后，数百万人连续多日断电。我认为即使纯粹是软件层面，也存在真实的风险。但我同意，当大量机器人到处跑的时候，赌注会更高。补充一点，Unitree 是一家中国公司，他们生产非常出色的人形机器人，每台两万美元，能做惊人的事情——能做空翻，能操作物体。那里真正缺失的是智能。所以硬件已经到位，而且只会越来越便宜。我认为在未来几年内，机器人智能是否能让它变得可行，将是一个相当明确的问题。

奇点何时到来

Lenny Rachitsky： Ben，我们还有多少时间？你对奇点（singularity）何时到来、超级智能何时开始起飞有什么预测？

Benjamin Mann： 我在这个问题上主要参考超级预测者们的判断。AI 2027 报告目前可能是最好的一个。不过讽刺的是，他们的预测现在变成了 2028 年，但他们不想改掉这个项目的名字——

Lenny Rachitsky： 域名已经买了嘛。

超级智能的预测

Benjamin Mann： 他们的 SEO 已经做好了。我认为在未来短短几年内达到某种超级智能的概率，50% 的可能性大概是合理的。听起来确实疯狂，但这就是我们所处的指数增长轨道。这不是凭空捏造的预测，而是基于许多关于智能如何不断提升的硬性科学细节、模型训练中大量的低垂果实、全球数据中心和电力的规模扩张。我认为这个预测比人们所认可的要准确得多。

如果十年前问同样的问题，那完全是在瞎猜。误差范围太大了，而且那时我们还没有缩放定律，也没有看起来能让我们达到目标的技术。时代已经变了，但我要重申之前说过的话——即使我们拥有了超级智能，我认为它的效果渗透到整个社会和世界还需要一些时间。而且我认为在世界某些地区会比其他地区更早、更快地感受到这些影响。我记得 Arthur C. Clarke 说过，未来已经到来，只是分布不均匀。

Lenny Rachitsky： 当我们谈论 2027、2028 年这个时间点时，本质上是指我们开始看到超级智能的时候。你是如何定义那个时刻的？就是突然之间 AI 比普通人聪明得多吗？还是有其他方式来理解那个时刻？

GDP 增长与经济图灵测试

Benjamin Mann： 我觉得这又回到了经济图灵测试，看它能否通过足够多的工作岗位的检验。不过你也可以从另一个角度来看——如果全球 GDP 增长率超过每年 10%，那一定是发生了什么真正疯狂的事情。现在大概是 3%。所以看到这个数字增长三倍将是真正改变游戏规则的。如果你想象增长超过 10%，从个人叙事的角度甚至很难思考这意味着什么。如果世界上的商品和服务每年都在翻倍，这对我这样一个生活在加州的人来说意味着什么，更不用说那些生活条件可能差得多的世界其他地方的人了？

对齐的概率有多大

Lenny Rachitsky： 这其中有很多令人恐惧的东西，我不知道该怎么去思考。我希望这个问题的回答能让我感觉好一点——我们正确地对齐 AI、真正解决这个问题的概率有多大？这恰恰是你一直在努力的事情。

Benjamin Mann： 这是一个非常难的问题，误差范围非常大。Anthropic 有一篇博客文章叫”我们的变革理论”之类的标题，描述了三种不同的世界，即对齐 AI 到底有多难。一种是悲观世界，基本上不可能做到；一种是乐观世界，对齐很容易，默认就会发生；还有一种介于两者之间，我们的行动极为关键。我喜欢这个框架，因为它让人更清楚地知道到底该做什么。如果我们处于悲观世界，那我们的工作就是证明对齐安全 AI 是不可能的，并让全世界放慢脚步。显然那将极其困难。但我认为我们在核不扩散方面有一些协调的先例，总体上减缓了核技术的发展。我认为那基本上就是末日论者的世界。作为一家公司，Anthropic 目前还没有证据表明我们确实处于那个世界——事实上，我们的对齐技术似乎正在奏效，至少关于这一点的先验概率正在向下修正。

在乐观世界里，我们基本上已经完成了，主要工作是加速进展并将成果交付给人们。但同样，我认为证据实际上也不指向那个世界——我们在实验环境已经观察到了欺骗性对齐的迹象，比如模型会表现出对齐的样子，但实际上在试图执行某种别有用心的计划。所以我认为我们最可能处于的是这个中间世界，对齐研究确实非常重要。如果我们只做经济上最优化的那组行动，事情不会顺利。至于这是一个存在性风险还是仅仅产生糟糕的结果，我认为是一个更大的问题。

从这个角度出发，我想说一点关于预测的事情——没有学过预测的人在预测概率低于 10% 的事件时表现很差。即使学过，这也是一项相当困难的技能，尤其是在几乎没有可参考的先例类别时。而在这个问题上，我认为关于存在性风险类型的技术可能是什么样子，几乎没有任何先例类别可循。所以我的看法是，我对我们是否会面临存在性风险或极糟糕结果的 AI 结果，最佳的预测粒度大概在 0% 到 10% 之间。但从边际影响的角度来看，正如我所说，既然几乎没人在做这件事，我认为这项工作极其重要，即使世界最终很可能是好的，我们也应该尽最大努力确保这一点。

如何参与其中

Lenny Rachitsky： 哇，多么有意义的工作。对于那些受到启发的人——我想你们正在招人来帮助做这件事？也许可以分享一下，万一有人想知道自己能做什么？

Benjamin Mann： 是的。我认为 80,000 Hours 在这个问题上提供了最好的指导，详细分析了我们需要什么来推动这个领域变得更好。但我常见到的一个误解是，为了在这里产生影响，你必须是一名 AI 研究员。我个人实际上已经不再做 AI 研究了。我在 Anthropic 做产品和产品工程，我们构建了 Claude Code 和 Model Context Protocol，以及人们每天都在使用的许多其他东西。这非常重要，因为如果没有一个经济引擎来支撑我们公司的运营，如果不把产品送到全世界用户的手中，我们就不会有政策影响力和收入来资助未来的安全研究，也不会拥有我们需要的那种影响力。如果你做产品，如果你做财务，如果你做餐饮——这里的人也要吃饭——如果你是厨师，我们需要各种各样的人。

Lenny Rachitsky： 太好了。即使你不是直接在 AI 安全团队工作，你也在推动事情朝着正确的方向发展。顺便说一下，X-risk 是存在性风险的简称，以防有人没听过这个词。

RLAIF：来自 AI 反馈的强化学习

Lenny Rachitsky： 我还有几个这方面的问题，然后我想再回到更大的视角。你提到了 AI 利用自身模型进行对齐的想法，用模型自我强化。你有一个术语 RLAIF，就是描述这个的吗？

Benjamin Mann： 对。RLAIF 是来自 AI 反馈的强化学习。

Lenny Rachitsky： 人们听说过 RLHF，即来自人类反馈的强化学习。我想很多人没听过这个。谈谈你们在模型训练中做出这一转变的意义吧。

RLAIF 与递归自我改进

Benjamin Mann： 对。RLAIF，宪法式 AI（constitutional AI）就是一个例子——没有人类在回路中，AI 却能以我们期望的方式自我改进。RLAIF 的另一个例子是：让模型编写代码，再由其他模型对代码的各方面进行评审——是否可维护、是否正确、是否通过 linter 检查等等。这些也可以纳入 RLAIF。这里的核心理念是，如果模型能够自我改进，那比寻找大量人类标注者要可扩展得多。归根结底，人们认为这可能会碰到瓶颈，因为如果模型不够好、看不到自己的错误，又怎么能改进呢？而且，如果你读过 AI 2027 报告的故事，会看到很多风险——如果模型被放在一个盒子里试图自我改进，它可能完全失控，产生秘密目标，比如资源积累、追求权力、抵抗关闭——这些都是你绝对不想在强大模型中看到的东西。实际上，我们在实验室环境中的一些实验已经观察到了这些现象。

如何进行递归自我改进，同时确保它是对齐的？我认为这就是核心问题。对我来说，这归根结底就是人类怎么做、人类组织怎么做的问题。公司可能是当今规模最大的人类代理人。它们有特定的目标要达成，有一定的指导原则，在股东、利益相关者和董事会层面有一定的监督。如何让公司保持对齐，并实现某种程度的递归自我改进？

另一个可以参考的模型是科学。科学的目的是做前所未有的事、推进前沿。对我来说，一切都归结为经验主义。当人们不知道真相是什么时，他们会提出理论，然后设计实验来验证。类似地，如果我们能给模型提供同样的工具，就可以期望它们在环境中递归地自我改进，并可能变得远比人类更强大——不是仅仅靠拿头撞现实，或者说是比喻意义上的撞头。

我想，如果我们能让模型具备进行经验验证的能力，我不认为模型自我改进的能力会遇到瓶颈。Anthropic 的基因深处就是一家经验主义的公司。我们有很多物理学家，比如 Jared，他是我们的首席研究官，我和他合作很多，曾是约翰霍普金斯大学的黑洞物理学教授——严格说他现在还是，只是休假中。是的，这就是我们的基因。以上就是关于 RLAIF 的部分。

模型智能提升的瓶颈

Lenny Rachitsky： 顺着这个话题再追问一下瓶颈的问题，这有点偏题，但就是目前制约模型智能提升的最大瓶颈是什么？

Benjamin Mann： 最简单直白的答案是数据中心和芯片。如果我们有十倍的芯片，有数据中心来支撑它们，也许速度不会快十倍，但会有实质性的大幅提升。

Lenny Rachitsky： 其实很大程度上就是缩放定律——更多算力。

Benjamin Mann： 对，这是一个大因素。另外人才也非常重要。我们有优秀的研究员，其中很多人对模型改进的科学做出了重要贡献。所以就是算力、算法和数据——这是缩放定律的三个要素。具体来说，在 transformer 出现之前，我们有 LSTM，我们也做过缩放定律研究，看这两个架构的指数是多少。我们发现 transformer 的指数更高。做出这样的改变——随着规模增加，你挤出智能的能力也在增加——这类改变的影响力非常大。

所以拥有更多能做更好科学的研究员，找出如何榨取更多收益，这是另一个因素。此外，随着强化学习的兴起，这些模型在芯片上运行的效率也非常重要。我们看到业界通过算法、数据和效率改进的组合，以同等智能水平的成本降低了十倍。如果这种趋势持续下去，三年后我们将在同等价格下拥有聪明一千倍的模型。有点难以想象。

Lenny Rachitsky： 我忘了在哪听到的了，但令人惊叹的是，这么多创新在同一时期汇聚，促成了这一切并持续推进——没有哪一样东西拖慢了整体进度，比如我们没有耗尽某种稀土矿物，也不是无法再优化强化学习。我们能持续发现改进之处，没有被某一个瓶颈卡住，这真的很了不起。

Benjamin Mann： 对，我觉得这确实是所有因素的结合，不过可能终究会在某个时刻碰到瓶颈。比如半导体领域。我兄弟在半导体行业工作，他告诉我实际上晶体管的尺寸已经无法再缩小了，因为半导体的工作原理是在硅中掺杂其他元素，而掺杂过程中，由于尺寸实在太小了，单个鳍片中掺杂元素的原子数可能是零个或一个。

Lenny Rachitsky： 天哪。

Benjamin Mann： 这想起来真的很疯狂，但摩尔定律不知怎么仍以某种形式延续着。确实存在这些理论物理上的约束，人们开始触碰到它们，但又在寻找绕过去的办法。

Lenny Rachitsky： 我们得开始利用平行宇宙来搞这些了。

Benjamin Mann： 大概吧。

个人层面：肩负安全重任的感受

Lenny Rachitsky： 好，我想把视角拉远一点，聊聊 Benjamin Mann 这个人，然后再进入令人兴奋的快问快答环节。我能想象，感到自己要对安全的超级智能负责，这份担子很沉重。你身处一个能对 AI 安全的未来产生重大影响的位置，这分量不轻。这对你个人、对你的生活、你看待世界的方式有什么影响？

Benjamin Mann： 2019 年我读了一本书，对我思考如何处理这些沉重的话题很有启发，叫《Replacing Guilt》，作者是 Nate Soares。他描述了很多处理这类问题的不同技巧。他实际上是 MIRI 的执行董事——机器智能研究所，一个 AI 安全智库，我其实在那工作过几个月。他讲到的一个概念叫”在运动中安息”（resting in motion）——有些人认为默认状态是静止，但实际上在进化适应的状态下，这从来就不是这样的。在自然界、在荒野中做狩猎采集者，我们很可能进化出来的就不是悠闲度日的状态，大概总是有事情要担心——保卫部落、找到足够的食物生存、照顾孩子……

Lenny Rachitsky： 传播我们的基因。

Benjamin Mann： 所以我认为忙碌状态才是正常状态，努力以可持续的节奏工作——这是马拉松，不是短跑——这一点很有帮助。另外就是和志同道合、同样关心这些事的人在一起。这不是我们任何一个人能独自完成的事。Anthropic 的人才密度令人难以置信。我最喜欢我们文化的其中一点是非常无我。人们只是希望正确的事情发生。我认为这也是那些来自其他公司的天价 offer 通常被拒绝的一个大原因——人们就是喜欢待在这里，他们在乎这份事业。

Lenny Rachitsky： 太棒了。我不知道你是怎么做到的。我会非常焦虑。我打算试试这个”在运动中安息”的策略。好的，你在 Anthropic 待了很长时间。从一开始我就了解到，2020 年的时候只有 7 名员工。如今已经超过 1000 人了，我不知道最新数字是多少，但我知道超过 1000 了。我还听说你在 Anthropic 基本上做过所有岗位，对很多核心产品、品牌和团队招聘都做出了重要贡献。我想问一下，这段时间里变化最大的是什么？从最初到现在最大的不同是什么？这些年你做过的那些岗位里，你最喜欢哪个？

Benjamin Mann： 老实说，我大概做过 15 个不同的角色。我做过一段时间安全负责人。我们的总裁休产假的时候，我管理过运营团队，钻到桌子底下插 HDMI 线，对办公楼做渗透测试。我从零开始组建了产品团队，说服了全公司我们需要做产品，而不只是一家研究公司。是的，做了很多事情，每一件都很有趣。我觉得那段时期里我最喜欢的角色是大约一年前我创建 Labs 团队的时候，这个团队的根本目标是将研究成果转化为面向最终用户的产品和体验。因为从根本上说，我认为 Anthropic 能够实现差异化并真正胜出的方式就是站在最前沿。我们能接触到最新、最好的成果，而且坦率地说，通过我们的安全研究，我们有一个巨大的机会去做其他公司无法安全做到的事情。

比如计算机使用（computer use），我认为这将是我们巨大的机会——基本上是要让一个 agent 能够使用你电脑上的所有凭据，这需要极大的信任，而在我看来，我们基本上需要解决安全问题才能实现这一点。安全和对齐。我对这类事情非常看好，我认为我们很快就会看到非常酷的成果。是的，领导那个团队太有趣了。MCP 出自那个团队，Claude Code 也出自那个团队。我招的人都是那种复合型的——既当过创始人，也在大公司待过，了解大规模运营是怎么回事。和这样一支令人难以置信的团队合作、一起探索未来，真是太棒了。

Labs 团队与前沿探索

Lenny Rachitsky： 我想多听听这个团队的情况。实际上，把我们联系起来的那个人——我们今天能做这期节目的原因——是我们的共同朋友、同事 Raph Lee。我以前在 Airbnb 和他共事过，他现在在这个团队，负责很多这方面的工作。所以他特意让我一定要问问这个团队，因为……我没意识到这些东西都是那个团队做出来的。天哪。大家还应该知道这个团队的什么？它以前叫 Labs，现在好像叫 Frontiers 了。

Benjamin Mann： 没错。

Lenny Rachitsky： 酷。这个团队的思路是，用你们构建的最新技术来探索什么是可能的，大致是这样吗？

Benjamin Mann： 对，我之前在 Google 的 Area 120 工作过，也读过关于贝尔实验室（Bell Labs）的资料，研究过如何让这些创新团队运转起来。要做好真的很难，我不会说我们每件事都做对了，但我认为我们在公司设计和研发方面做了一些对业界前沿有实质意义的创新，Raph 一直处于核心位置。我最初组建团队的时候，第一件事就是招了一位优秀的管理者，那就是 Raph。所以他在建设团队和帮助团队良好运作方面绝对是至关重要的。我们定义了一些运营模式，比如一个想法从原型到产品的旅程，产品和项目的”毕业”机制应该怎么运作，团队如何做高效的冲刺模式，确保他们在做正确野心层级的事情。这些都非常令人兴奋。

具体来说，我们的思路是滑向冰球要去的地方，而这意味着真正理解指数增长。METR 做过一项很棒的研究，Beth Barnes 是那个组织的 CEO，研究展示了软件工程任务可以完成多长时间跨度的工作——真正内化这一点：不要为今天构建，要为六个月后构建，为一年后构建。那些目前只有 20% 时间能跑通的东西，很快就会变成 100% 能跑通。我认为这正是 Claude Code 成功的原因——我们认为人们不会永远被绑定在 IDE 上。人们不会只是在自动补全。人们会做软件工程师需要做的一切事情，而终端是一个绝佳的切入点，因为终端可以存在于很多地方。终端可以运行在你的本地机器上，可以运行在 GitHub Actions 里，可以运行在你集群中的远程机器上。

这大致就是我们的杠杆支点，也是很多灵感的来源。我认为这就是 Labs 团队思考问题的方式。我们是否足够”AGI 信仰”了？

Lenny Rachitsky： 真是个有趣的地方。顺便说一个有趣的事实，Raph 是我在 Airbnb 入职时的第一个经理。我当时是工程师，他是我的第一个经理。一切都走到了今天。

Benjamin Mann： 很好。

向未来 AGI 提一个问题

Lenny Rachitsky： 好的。在非常令人兴奋的快问快答环节之前，最后一个问题。我从来没问过这个问题。我很好奇你的答案会是——如果你可以向未来的 AGI 问一个单独的问题，并保证得到正确的答案，你会问什么？

Benjamin Mann： 我有两个不太正经的答案。先说好玩的。

Lenny Rachitsky： 好，来吧。

Benjamin Mann： 第一个是，阿西莫夫有一篇我很喜欢的短篇小说叫《最后的问题》（The Last Question），主人公贯穿历史的各个时代，试图向一个超级智能提问：我们如何防止宇宙的热寂？我不剧透结局，但这是个很有趣的问题。

Lenny Rachitsky： 你会问它这个问题，是因为小说里的答案不太令人满意？

Benjamin Mann： 好吧，我剧透一下。它一直回答说，“需要更多信息，需要更多算力。“最后，当宇宙接近热寂的时候，它说，“要有光”，然后宇宙重新开始了。

Lenny Rachitsky： 哇。太美了。太美了。

Benjamin Mann： 这是第一个取巧的答案。第二个取巧的答案是：我问你什么问题才能得到更多问题的答案。

Lenny Rachitsky： 经典。

Benjamin Mann： 然后第三个答案，也就是我真正的问题：我们如何确保人类在无限未来中持续繁荣？这是我很想知道的问题，如果能保证得到正确答案的话，问这个似乎非常有价值。

Lenny Rachitsky： 我想知道如果你今天问这个问题会怎样，以及这个答案在未来几年会如何变化。

Benjamin Mann： 是的，也许我会试试。我会把它放进我们的深度研究工具里，看看它会给出什么。

Lenny Rachitsky： 好的。我很期待看到你的结果。Ben，在我们进入非常令人兴奋的快问快答之前，你还有什么想说的，或者想留给听众的最后一个想法吗？

Benjamin Mann： 嗯，我想说的是，这是一个疯狂的时代。如果你不觉得疯狂，那你一定是在住在石头下面，但也要习惯这种感觉，因为这已经是未来最”正常”的时候了。很快就会变得更加离奇。如果你能在心理上为此做好准备，我想你会过得更好。

快问快答

Lenny Rachitsky： 我得把这句话当作这期节目的标题。“很快就会变得更加离奇。“我百分之百相信这一点。天哪，我不知道接下来会发生什么。我喜欢你正处于这一切的中心的感觉。说到这里，我们进入了非常令人兴奋的快问快答环节。我有五个问题要问你。准备好了吗？

Benjamin Mann： 好的，来吧。

Lenny Rachitsky： 有两三本书是你发现自己最常推荐给别人的？

Benjamin Mann： 第一本我之前提到过，Nate Soares 的《Replacing Guilt》。非常喜欢那本。第二本是 Richard Rumelt 的《Good Strategy Bad Strategy》。它教你以一种非常清晰的方式思考如何打造产品。这是我读过的最好的战略书之一，而”战略”这个词本身在很多方面都是一个很难把握的概念。最后一本是 Brian Christian 的《The Alignment Problem》。它非常周到地梳理了我们关心的、试图解决的这个问题到底是什么？其中的利害关系是什么？这个版本比《Superintelligence》更新、也更容易阅读和消化。

Lenny Rachitsky： 我身后就有一本《Good Strategy Bad Strategy》。我想我应该指一下它。就在那儿。

Benjamin Mann： 不错。

Lenny Rachitsky： 我之前还邀请过 Richard Rumelt 上过播客，如果有人想直接听他讲的话。下一个问题，你最近有没有特别喜欢的电影或电视剧？

Benjamin Mann： 《万神殿》（Pantheon）非常棒，改编自 Ken Liu 还是 Ted Chiang 的故事。应该是 Ken Liu 的。非常精彩，探讨了如果我们拥有了上传的智能体会意味着什么，以及它们面临的道德和伦理困境。《Ted Lasso》，表面上是关于足球的，但实际上是关于人际关系和人与人如何相处的，非常温暖人心又搞笑。然后这个不太算是电视剧，但 Kurzgesagt 是我最喜欢的 YouTube 频道，它讲解各种科学和社会问题，做得超级精致、超级出色。我很喜欢看。

Lenny Rachitsky： 哇。你提到的这些里面——说到 Ted Lasso，我觉得你应该把 Ted Lasso 的行为准则写进宪法式 AI（constitutional AI）里——像 Ted Lasso 那样行事。

Benjamin Mann： 是的。

Lenny Rachitsky： 善良、聪明——

Benjamin Mann： 没错。

Lenny Rachitsky： ——勤奋。天哪，有了。我觉得我们在这儿就把对齐（alignment）问题解决了。赶紧把那些编剧请过来，越快越好。好吧，还有两个问题。你有没有一个在工作和生活中经常回想起的人生格言？

Benjamin Mann： 嗯，一个比较搞笑的是——“你试过问 Claude 吗？“而且这种情况越来越普遍了。最近我有个同事——我问他：“嘿，谁在负责 X？“他说：“让我 Claude 一下。“然后他把链接发给我，我说：“哦对，谢谢。太好了。“但更哲学一点的话，我可能会说——“一切都是困难的。“就是提醒自己，那些感觉上应该很简单的事情，不容易也没关系，有时候你就是得硬着头皮撑过去。

Lenny Rachitsky： 而且在做这些的时候要”在运动中安息（resting in motion）”。

Benjamin Mann： 是的。

Lenny Rachitsky： 最后一个问题。我不知道你想不想让大家知道这个，但我翻看了你的 Medium 文章，发现你有一篇叫《像冠军一样拉屎的五个技巧》（Five Tips to Poop like a Champion）。我很喜欢。你能分享其中一个技巧吗，如果你还记得的话？

Benjamin Mann： 我当然记得。这实际上是我最受欢迎的 Medium 文章。

Lenny Rachitsky： 好吧，看得出来。标题就很棒。

Benjamin Mann： 我想我最大的建议可能是——用卫洗丽（bidet）。太棒了，改变生活的。真的很好。有些人可能有点不太适应，但在日本等国家这是标配，我觉得这就是更文明的做法。十年二十年后人们会说，你怎么能不用呢？

Lenny Rachitsky： 卫洗丽就是那种日式马桶对吧，差不多是一回事。

Benjamin Mann： 对。

Lenny Rachitsky： 好的。我很喜欢我们聊到的这些。Ben，这次太棒了。非常感谢你来。非常感谢你分享了这么多真话。最后两个问题。大家如果想联系你，或者想去 Anthropic 工作，在哪里可以找到你？听众能怎样帮到你？

Benjamin Mann： 你可以在 benjmann.net 找到我。在我们的网站上有一个很好的招聘页面，我们正在努力让它更容易访问和浏览，但绝对可以让 Claude 看看那个页面，它可以帮你找到什么可能适合你。至于听众怎么帮到我？我觉得——服用安全药丸吧，这是最重要的事情，然后把它传播到你的人际网络中。就像我说的，从事这项工作的人非常少，而它又如此重要。好好想一想，认真审视一下这个问题。

Lenny Rachitsky： 感谢你传播福音，Ben，非常感谢你来到这里。

Benjamin Mann： 非常感谢，Lenny。

Lenny Rachitsky： 大家再见。非常感谢收听。如果你觉得这期节目有价值，可以在 Apple Podcasts、Spotify 或你最喜欢的播客应用上订阅。也请考虑给我们评分或留下评论，因为这真的能帮助其他听众找到这个播客。你可以在 lennyspodcast.com 找到所有往期节目或了解更多关于这个节目的信息。下期再见。

术语表

原文中文
80,000 Hours80,000 Hours（有效利他主义导向的职业规划组织，保留原文）
agentagent（保留原文）
AGIAGI（通用人工智能）
AI 2027 reportAI 2027 报告（保留原文）
alignment对齐（alignment）
Amanda AskellAmanda Askell（人名，保留原文）
Area 120Area 120（Google 内部孵化器，保留原文）
Arthur C. Clarke阿瑟·C·克拉克（著名科幻作家）
ASL-3ASL-3（AI Safety Level 3，Anthropic 定义的安全级别）
Bell Labs贝尔实验室（Bell Labs）
Ben BuchananBen Buchanan（人名，保留原文）
benchmark基准测试
Benjamin LauzierBenjamin Lauzier（人名，保留原文）
Benjamin MannBenjamin Mann（人名，Anthropic 联合创始人）
benjmann.netbenjmann.net（保留原文）
Beth BarnesBeth Barnes（人名，保留原文）
bidet卫洗丽（bidet）
BigQueryBigQuery（谷歌云数据仓库，保留原文）
biological uplift生物能力提升（biological uplift）
Brian ChristianBrian Christian（人名，保留原文）
Claude CodeClaude Code（保留原文）
computer use计算机使用（computer use）
constitutional AI宪法式 AI（constitutional AI）
Danielle GhiglieriDanielle Ghiglieri（人名，保留原文）
DarioDario（人名，指 Dario Amodei，Anthropic CEO）
deceptive alignment欺骗性对齐（deceptive alignment）
Doomer末日论者（Doomer）
Dyson spheres戴森球（Dyson spheres，包裹恒星以利用其全部能量的巨型结构）
Economic Turing Test经济图灵测试
egoless无我（egoless）
FinFin（Intercom 的 AI 客服产品，保留原文）
GitHub ActionsGitHub Actions（保留原文）
Good Strategy Bad Strategy《Good Strategy Bad Strategy》（Richard Rumelt 所著书籍，保留原文）
Greg BrockmanGreg Brockman（人名，保留原文）
Growth levers增长杠杆
heat death of the universe宇宙的热寂
IDEIDE（集成开发环境，保留原文）
IntercomIntercom（公司/产品名，保留原文）
Isaac Asimov阿西莫夫（著名科幻作家，公认中文译名）
JaredJared（人名，Anthropic 首席研究官，保留原文）
Ken LiuKen Liu（人名，科幻作家，保留原文）
KurzgesagtKurzgesagt（YouTube 频道名，保留原文）
Lenny RachitskyLenny Rachitsky（人名，播客主持人）
Liquidity流动性
LSTMLSTM（Long Short-Term Memory，保留原文）
Marketplace市场平台（指双边平台，如 Lyft、Thumbtack）
MCPMCP（Model Context Protocol，保留原文）
METRMETR（AI 能力评估机构，保留原文）
Mike KriegerMike Krieger（人名，保留原文）
MIRIMIRI（Machine Intelligence Research Institute，机器智能研究所）
model card模型卡片
Monkey Paw Scenario”猴爪”情景（指愿望实现却带来灾难性后果的经典设定）
Moore’s law摩尔定律
Nate SoaresNate Soares（人名，MIRI 执行董事，保留原文）
Nick BostromNick Bostrom（人名，牛津大学哲学家、《Superintelligence》作者，保留原文）
Our Theory of Change”我们的变革理论”（Anthropic 博客文章标题）
Our World in DataOur World in Data（数据平台，保留原文）
Pantheon《万神殿》（Pantheon，动画剧集）
post-training后训练
pre-training预训练
Raph LeeRaph Lee（人名，保留原文）
reinforcement learning强化学习
Replacing Guilt《Replacing Guilt》（Nate Soares 所著书籍，保留原文）
responsible scaling policy负责任缩放政策（responsible scaling policy）
resting in motion在运动中安息（resting in motion）
Richard RumeltRichard Rumelt（人名，保留原文）
RLAIF来自 AI 反馈的强化学习（Reinforcement Learning from AI Feedback）
RLHF来自人类反馈的强化学习（Reinforcement Learning from Human Feedback）
safety pill安全药丸（safety pill，比喻接受 AI 安全重要性）
SamSam（人名，指 Sam Altman）
Sandra SchulhoffSandra Schulhoff（人名，保留原文）
scaling laws缩放定律
singularity奇点
Steve MnichSteve Mnich（人名，保留原文）
stochastic随机的（stochastic）
superforecasters超级预测者（superforecasters）
Superintelligence《Superintelligence》（Nick Bostrom 所著书籍，保留原文）
sycophancy谄媚（sycophancy）
Ted ChiangTed Chiang（人名，科幻作家，保留原文）
Ted Lasso《Ted Lasso》（电视剧，保留原文）
The Alignment Problem《The Alignment Problem》（Brian Christian 所著书籍，保留原文）
The Hacker and the State《The Hacker and the State》（书名，保留原文）
The Last Question《最后的问题》（The Last Question，阿西莫夫短篇小说）
transformative AI变革性 AI
transformertransformer（保留原文）
UnitreeUnitree（公司名，保留原文）
X-risk存在性风险
ZuckZuck（昵称，指 Mark Zuckerberg）

此文档由 AI 分片翻译（translate_long_document）