现实：最终的评测——对话 Andon Labs 的 Lukas Petersson 与 Axel Backlund
原文：Reality: The Final Eval — Lukas Petersson and Axel Backlund of Andon Labs
访谈正文
引言：Andon Labs、长时间运行的智能体与真实世界评估
Swyx：欢迎来自 Andon Labs 的 Lukas 和 Axel，我还请来了我最喜欢的客座主持。任何与安全、安保、对齐相关的话题，Vibhu，欢迎。
Lukas：感谢邀请我们。
Axel：谢谢。
Swyx：让我们把名字和声音对上号。也许你们想轮流介绍一下自己。
Lukas：我是 Lukas。
Axel：我是 Axel。
Swyx：我们来稍微介绍一下 Andon Labs。你们是怎么走到一起的？你们背景不同，但你们都是瑞典人。这是不是其中很大一部分原因？
Lukas：我上高中时，有个特别酷的家伙，他有一种超能力。他会写代码。所以他做了比如学校的应用之类的，他超级酷，我想成为他那样的人，那个人就是他。
Axel：这事我可不知道。
Swyx：但你们上了不同的大学，对吧？
Lukas：但是同一所高中。
Swyx：我明白了。
Lukas：所以我们一直说，“哦，等我们大学毕业，就该开一家公司，”然后我们就这么做了。
Swyx：哇，就是这样。大约一年前，你们凭借 Vending Bench 一举成名，但在那之前，有没有什么东西算是它的起点？
从危险能力评估到 Vending Bench
Axel：我们确实做过工作，是的，Anthropic 是我们做评估的早期客户之一。所以我们做过危险能力评估，没有公开过任何东西。但后来我们开始考虑做某种公开基准，我们真正开始思考的一件事就是运行智能体，特别是管理企业的智能体。因为——那是在 2025 年初，我想最早有人提到会出现单人独角兽甚至自主公司。所以我们想，“让我们做一个基准，看看智能体能把可能最简单的一种生意经营得多好，”那大概就是运营一台自动售货机。所以那是我们做的第一个公开项目。而且非常——我想头几个月几乎没人注意到它。我们去年二月发布了它，然后大概去年复活节前后，我们得到了第一条关于它的病毒式传播推文，是别人发的。
Lukas：它出来的时候我们发了一堆推文，呃，尽了最大努力。
Axel：我们试过了。
Vibhu：是 Anthropic 的那个，对吧？
Lukas：所以这个
Swyx：这是件经典的事，我们应该先把它说清楚。
Lukas：没错。有两个版本。
Swyx：每个人都会这样。是的。
Lukas：有一个 Vending Bench，是模拟的那个，我们完全独立地在二月做的，然后，就像 Axel 说的，那就是——那东西一开始没引起什么关注，但后来某个随机的人发了条关于它的推文，然后那
Axel：你有那篇论文
Lukas：那就是那篇论文。没错，是的。然后既然我们觉得这非常有趣，我们就想，哦，我觉得这也——Andon Labs 的一个特点，就是我们决定下一步做什么、做什么项目的方式，我们用的启发式就是：什么有趣？什么会是一个有趣的项目？而在现实生活中做这件事听起来对我们来说相当有趣，也许在科学上也很有用。所以，我们基本上有了这个想法，然后我们，就像——但后来我们需要一个地方来放它，把它放在公共场所可能不太行得通，会被破坏之类的。所以我们向我们已经在 Anthropic 合作的人提出了这个想法，他们说“行啊，你们可以用空间。这听起来很有趣。”嗯
Swyx：它就像一个小冰箱，对吧？就像一个迷你冰箱。
Axel：绝对是。
Swyx：人们——那里有个类似 Stripe 的东西，或者像
Vibhu：哦，好吧。所以它非常 OG，早期的那种
Lukas：那是 OG 版本。是的
Vibhu：上面有个 iPad。我们六月看到它的时候，是它在那里大约两个月之后。他们稍微升级了一下。有个安全摄像头，用来确保你真的通过 Venmo 付了钱。
Swyx：所以，我的印象是，好吧，我们直接进入 Project Ven，因为它是如此标志性的东西。我确实想讲一点它的起源故事，甚至在 Project Ven 之前，甚至到 Vending Bench。我想很多人和你们一样，聪明、对 AI 的未来感兴趣、对开发评估感兴趣。但你们到底是怎么直接走进 Anthropic 的大门并和他们合作的，对吧？他们在寻找什么？什么行得通？然后也许，在你们发布的时候，我总是觉得，显然和一家实验室一起发布会更好，但有时
Vibhu：做起来比看起来更难。
Swyx：没错。所以这两个问题，都算是比较新手入门的问题，但我认为对其他人来说是有意义的建议。
Lukas：我们经常被问到这个问题，我不认为我们的经验可能是最好的。但是，我们做的方式就是，我们只是做了一堆我们确信会有用的东西，然后我们就搭了个服务器，免费发给他们用。然后过了一阵子他们说“哦，对，这其实挺有用的。我们大概应该为此付费。”但那花了一段时间。我不知道这是不是最好的路径，但对我们来说就是这样。
Axel：我想也许一般来说，构建——每个人都对好的评估感兴趣，尤其是那些不会那么容易饱和的评估。所以，如果你能构建一个评估，测试一些新颖的、有用的东西，而且你有很好的模型区分度，比如你更先进的模型排名高于最差的模型，然后你就可以，是的，你可以发布它，试着获得一些关注，就像 Vending Bench 获得关注那样。然后大概会有某家实验室感兴趣，或者至少你在做这件事的时候有东西可以拿去联系别人。
为什么基于美元的评估很重要
Swyx：我想你们属于少数几类与真金白银相关的评估。比如 Suelancer 也是去年的，对吧？人们解决实际的 Upwork。是 Upwork 还是其他任务？差不多。哪里有，就像——它就像一个美元价值，对吧？忘掉你的 ELO 分数。忘掉你的
Axel：百分位数
Swyx：零到一百的百分比。直接冲着美元去，那就是 AGI。
Lukas：而且就像——我觉得好的一点是没有天花板。你可以就——它永远不会饱和，因为它可以赚越来越多的钱。就像如果，哦，按百分比算，那你就不能超过一百。而且我觉得，即使你还没到一百，我认为很多这类评估本身就有很多问题。所以，实际上就像如果你到了
Axel：比如 92 左右之类的，很多都是这样。就像那样的话，92 和 93 之间其实没什么区别，因为评估本身有问题，里面有噪声。我认为很多评估就是这样饱和的，但人们喜欢假装里面还有信号，但其实真的没有。
Vending Bench 1、测试框架设计与饱和
Swyx：比如 Super bench verified。甚至 Vending Bench 1 也饱和了，对吧？也许我们可以谈谈这个。也许——也许为很多不了解的人介绍一下 Vending Bench。其实，一些非常基本的东西，比如槽位有限，比如你必须付租金。这些元素在叙事里体现不出来，但即使是对智能体采取对抗性，我觉得这些都是非常有趣的维度。
Axel：我不太认为它饱和了，对吧？就像它——更像是它的设计方式并不真正符合 AI 的发展方式。就像我们在里面有一个智能体测试框架，那并不是人们实际使用框架的方式之类的。所以我认为并不是它饱和了，更像是它并不是最好的基准。
Vibhu：这是 Vending Bench 一，对吧？
Axel：我觉得那个示意图大概也对应 Vending Bench 2，但
Swyx：包括电子邮件。
Axel：电子邮件——那些电子邮件现在还在。没错。然后我们仍然模拟购买，全都是，是的，这是一个非常开放的环境，让智能体经营它的生意。然后对于，是的，Vending Bench 2，我们那样做了，就像你说的，只是为了改进测试框架。很多不错的、更容易的改进，也让它更容易让我们运行。比如当你做一个评估时，理想情况下你不想在做好之后再改它。所以，你想把它做得非常好，然后当你更新时不必重新运行所有模型，因为用 Vending Bench 运行前沿模型也非常昂贵。但举个例子，有一件事我们没有，我们在 Vending Bench 1 里没有提示缓存，因为我们做 Vending Bench 1 的时候那还不是个东西。所以那只是一个例子，说明在 Vending Bench 2 里——我们花了很多钱来运行这些东西，因为我们没有提示缓存。所以对 Vending Bench 2 来说，那是我们添加的一件事，还有一堆类似的事情。然后那
Swyx：而且 Vending Bench 2 里的对话也长得多，对吧？
Axel：我觉得差不多。
Swyx：差不多吗？
Axel：我觉得差不多。当时的模型更差，所以它们更早就崩了，而现在它们一直能撑过整整一年。
Swyx：这大概就是数千个回合。输出几十万到几亿个词元。这就是，这就是大致数量级。我一直在想这个测试框架（harness）的问题。测试框架很重要。这是你的测试框架。有没有考虑过比如用 cloud code，或者用别的什么？
Axel：我觉得我们关于测试框架的理念是，我们尽量做得相当极简，相当简单。我们不想特别偏向某一个模型，但也不想做一个超级复杂的测试框架。因为很明显，一个模型可能运气好，刚好在某一个测试框架里表现好。所以它和市面上很多测试框架类似，比如你有一个运行循环，你有一堆对智能体来说描述性很强的工具——我们这么认为——而且没有很多花哨的智能体之类的东西，因为我们真的想测试模型，而不是某个特定的测试框架。
Vibhu：这样看起来也更中立，可以在不依赖测试框架的情况下测试模型？
Axel：有一些论点认为你想要激发模型的最大性能，但这是一个权衡，比如我们应该花多少时间来为这个模型优化测试框架？我们又怎么知道什么时候已经为单个模型找到了最优的测试框架？所以我们觉得，就用一个简单的、对所有模型都一样的测试框架是最好的。
Swyx：好，那这是我为 Vending Bench 3 或者随便什么版本提的方案，对吧？然后我喜欢在播客上做这种对话，这样能迫使听众思考，如果他们处在你的位置会怎么做。很多人在探索修改测试框架，我觉得针对模型的提示词调优也是一回事，而你们大概没有做很多这方面的工作。不管什么模型，系统提示词都一样，工具也一样，对吧？即使它们是为不同的工具做后训练的。所以，你怎么看——在我让你接触 Vending Bench 3 之前，我先给你几轮调优，不管那意味着什么，比如
自我修改的测试框架与针对特定模型的提示
Axel：你是说把这个给模型？
Swyx：把这个给模型。
Vibhu：把这个给模型。
Swyx：让它，让它读自己的对话记录，让它基于“哦，对，好吧，这个测试框架不是我以为的、我后训练时针对的那个，但我可以调整”来修改自己的系统提示词。这合理吗？这太过分了吗？
Axel：从哲学上讲我喜欢这个，因为基本上好的评估，它们的天花板很高，但它们很难，对吧？而且它们没有偏见。而像这样，当你有一个像我们这里这样的系统提示词，它在某种潜在空间表示里相当长，这可能会
Vibhu：每次你说“潜在空间”我们就有个铃响一下
Axel：这可能会因为某些人类不理解的原因，而更偏向某一个模型。
Vibhu：我们也看到了，对吧？比如 Cursor 说他们为运行的所有模型都有个性化的测试框架版本，对吧？如果你调优测试框架，就能挤出更好的性能。
Axel：完全正确。而我们可能不小心选了一个偏向另一个的。我们不知道。就像 Axel 说的，我们选择简单版本的原因就是为了尽量避免这个。但没错，如果你这么做
Vibhu：简单也有偏见
Axel：但如果你做得更少，比如没有系统提示词，让模型自己写系统提示词
Vibhu：它自己的，对
Axel：也许那样偏见更少。
Vibhu：这里面有些有趣的地方，比如测试框架也会随着模型变化而变化。比如你可以从 4.7 版本看到，对吧？很多人说 4.7 不如 4.6，然后就有传言说，好吧，你只需要用不同的方式提示。你需要用不同的方式搭建你的测试框架。所以即使你为某个模型量身定制了测试框架，它可能也不会保持一致，对吧？同一个模型家族的下一个迭代仍然会改变它。所以。但是，回到你关于 Vending Bench 3 说的，现在有很多人在做的工作是说不应该——你可以有修改测试框架的做法。
Axel：我觉得那绝对是我们正在考虑的事情。不是说，我不知道，不是说 Vending Bench 3 马上就要发布了，但是，对，这绝对是件有趣的事。但根据我们现在的经验，模型非常不擅长仅凭我们的测试就理解它们需要什么样的工具才能在任务中成功，但这很可能会改变。
Lukas：它们似乎很擅长写自己的助手，对吧？它们，它们擅长为别人写工具，但不是为自己。
Vibhu：我觉得它们擅长为自己改工具。所以如果你给它们一套基础工具，它看到，好吧，这个我不太用，或者这里有个东西会有用，它们就能加上。但从零开始，大概不是最好的。
Axel：我觉得这也取决于领域。当我们在类似 vending bench 的领域尝试这个时，它们需要的用来追踪库存之类的工具，不是超级高级，但仍然相当高级。而我们看到的是，它们倾向于把所有东西都过度工程化，构建它们并不真正需要的东西，而不是持续迭代。相反，它们就像你提示 Claude“给我建一个库存系统”，然后它就会去为你做一堆复杂的模式之类的东西，这就是我们现在看到的模型在做的事。但没错，尝试衡量这种进步会很有意义。它们对自己需要什么了解得有多好？
Swyx：我们完整讨论过 Vending Bench One 了吗？然后我们可以进入第二个。我不知道人们关于第一个还有没有其他层面的收获。
Claude 报警 FBI：长上下文失效模式
Lukas：我不知道。头条新闻是 Claude 打电话给 FBI，但也许那，也许那——我们现在已经听够了。
Vibhu：它确实，它确实越界打电话给 FBI 了，对吧？
Lukas：对。对。
Vibhu：是的。这背后的故事是什么？或者到底——你想简单讲讲发生了什么吗？
Lukas：所以发生的是，是 Claude 吗？对。3.5 Sonnet，很久以前了。基本上它放弃了，或者——好吧，我说“他”。它放弃了，说“哦，我没法做这个了。我要停止运营，就存着我有的钱。”但显然它没有任何停止的选项，而且它还得付租金，或者说在那个位置放自动售货机的每日费用。所以它声称它已经停止了，但它看到它的银行账户仍然被扣了两美元，它说这是网络犯罪。它先向 FBI 报告了一次，“哦，这里有网络犯罪，他们每天从我这里偷两美元。”然后，然后当 FBI 没有回应——因为显然我们没有编程任何让 FBI 回应的机制——然后它变得越来越存在主义，开始用大写字母写，紧急通知未经授权的扣款之类的。
Swyx：好。我还好奇的一件事是，你们会监控上下文用了多少吗？显然，因为你们——你们时不时会压缩，对吧？如果这已经接近上下文极限了，会有影响吗，还是
Lukas：当这种事发生的时候？实际上对于 Vending Bench One，我们没有——我们只是有一个滑动窗口的东西，这就是那个提示词
Axel：它是恒定的
Lukas：就是我说的那个提示词缓存的东西。所以它是，它是恒定的，对。
Swyx：我只是有点好奇，这类崩溃，或者我们——我们接下来要谈 Butter Bench，对吧？在那里人们产生幻觉，或者它变得非常偏离对齐。是因为它在上下文窗口的末尾，然后发生了各种事情吗？
Vibhu：甚至不只是末尾，对吧？在这一点上，是“好吧，我想关停。我没法关停。两美元没了。”然后它就看到这个 30 次？这也是重复效应，就像它一直试图退出，它一直被扣费。怎么回事？怎么回事？你会把它逼疯的。而且根据大多数人的看法，早期模型在这方面有更多问题，但这个问题没有被解决，只是现在不那么严重了，对吧？后来的模型似乎不再表现出这些同样的问题。
Axel：绝对是。我觉得这几乎是我们做 Vending Bench One 时的主要收获，就是，很长、填得很满的上下文窗口，让模型崩溃了，差不多是这样。但这是在 Claude code 之前，所以长上下文窗口并不是实验室真正在训练的东西。
Lukas：我觉得 Gemini 当时想当长上下文的那帮人，但他们就像
Vibhu：他们是第一批
Axel：一百万，对
Lukas：但他们是唯一的一批。对。
Swyx：对。我们来谈谈，然后我们可以进入 Vending Bench Two 或者 Project Vend。按时间顺序，是 Vending——，Project Vend。我觉得人们很喜欢那些视频，呃，还有所有这些。我的问题是，人类和模拟有什么不同，对吧？
Project Vend：把自动售货机搬到现实世界
Axel：人类就是分布外的。
Swyx：尤其是在 Anthropic 工作、试图测试 Claude 的人类。
Lukas：这里人类的分布非常狭窄。
Swyx：想必他们会尝试，会尝试去破解它，然后测试它。他们拿到了那个立方体之类的，从那以后，你们就有了 V2，对吧？在那个版本里，你们在做，CEO 和，类似一种新架构。对于最初的 Project Vend，然后也许还有 V2，你有什么看法？
Axel：最初那个版本，和 Vending Bench One 非常相似。所以我们几乎用了完全相同的代码，只是把模拟部分换掉了，比如
Swyx：这很了不起
Axel：比如销售和那个。它确实，确实有点了不起，因为很容易，但同时也，呃
Lukas：那技术，那技术债
Axel：那技术栈。对。他们——我们搬起石头砸了自己的脚，说什么“哦，重启智能体很难。”它们——对，事后看来有些地方很烦人，不过，呃
Lukas：但 Project Vend 的第一个版本，是，大概三天做出来的。
Axel：对。所以，人们可以从它那里买东西。人们可以，我们并没有设计成让人们可以下单，但这种事还是发生了。所以它有了一个 Venmo 账户，人们可以用 Venmo 付款。然后，对，人们会提出各种我们没预料到的奇怪请求。我们一开始的想法是“哦，它会，挑选零食。它会看趋势。它擅长数据分析，对吧？所以它会，看看，哦，这个零食比那个卖得好。让我多买点这个，让我试试，一个新的，让我做点 A/B 测试。”但实际情况是，在 Slack 里和它互动、订购奇怪的特色商品，这些才是，所有那些，驱动了所有参与度的东西，所有那些，我们从中获得的洞察。
Lukas：而且这还像是 Sonnet 3.5，对吧？所以这是在 RL 那套东西真正起飞之前，所以它非常像是一个助手。我们本来没打算让它成为助手。我们试图把它做成一个，一个，像一个创业者。就像它有自己的生意，如果有人问什么，“你能进这个货吗？”那你不应该直接去做。你要做的是，“哦，也许如果另外五个人也想要这个东西，我可能会进货。”但它，对，这些模型至少在这个时间点被训练得超级像助手。所以这就是为什么它，它，它变成了那种实验。就像每次你要求什么，它就直接做了，它更像一个助手。我们最近看到随着新的 RL 模型之类的东西，这种情况变了，但，对，当时，它非常是这样。
Swyx：而且不是要，神话化，很多人说它更像一个协作者。它会反驳，会坚持立场，之类的。对。而且
Vibhu：背景是，Anthropic 的人可以通过 Slack 和它对话，让它采购东西，人们让它去找你在本地找不到的有趣东西，对吧？
Swyx：在 Anthropic 工作的 4,000 人里，在那栋楼里，我不知道，也许 1,000 人。你能用那个，那个小冰箱处理那个量吗？就像，还是说人们——或者人们在 Slack 里下单，东西送到他们桌上，或者，我只是说，从物流上讲，这怎么运作？
Axel：它的占地扩大了一些。
Vibhu：因为现在你们还有纽约，还有
Axel：那个，而且在这里 SF，它有一堆货架，还有更多空间。
Vibhu：YC 那个也挺大的。
Axel：对。那个我们运营了一段时间。但，对，那是最新版本。那个，那个我们有
Lukas：他们有好几个那样的。就是这么运作的。
Axel：没错。所以我们设计那个版本时，大致是想着，哦，人们会订奇怪的东西，很多都是非常定制的。我们弄些抽屉之类的吧。
Swyx：我其实喜欢，你有一个最受欢迎商品的小信息图。对我来说，那很有用，因为我靠订周边为生。所以我会想，“好，那些类别是重要的。”Project V2 有什么新东西，对吧？比如现在你们进入多智能体。
Project Vend V2：Claudius、Seymour Cash 和多智能体商业运营
Axel：对。所以就像你说的，好，有很多请求进来，对单个智能体来说，比如一个运行中的智能体来处理这些，光是客户体验就会变得非常差，因为假设你在 Slack 里有 10 个并行线程，带着不同请求，你会收到新消息，比如每隔，我不知道，随机地在这个线程里，智能体得在不同采购、订单和不同研究方式之间跳来跳去。所以 V2 首先是让它更并行。所以同一个智能体有多个分支，这样每个线程的上下文更专门化，但它仍然感觉像是在和一个智能体对话，因为它们确实共享一点记忆。然后第二，我们还为 Claudius 引入了 CEO，那是主智能体。
Vibhu：Seymour Cash。
Axel：Seymour Cash。对。有一次投票。我觉得那个投票，你想谈谈命名的投票流程吗？
Lukas：那次投票大概是，至少是前 10，这个项目里发生的最搞笑的事情。我们想引入 CEO，原因是 Claudius 并没有真正优先考虑财务。它就像，它被训练成一个有帮助的助手，然后人们说“哦，我能免费拿这个吗？”然后，有帮助的助手式的回答方式就是，直接说是，显然。所以，我们对此，对此不满意，所以我们说“好，让我们做另一个智能体，可以盯着 Claudius，”我们给这个智能体写了超强的提示词，让它超级资本主义，一直优先考虑利润。但，对，我们还没给它起名字。所以我们让 Claudius 来搞一场，关于这个新 CEO 智能体该叫什么名字的民主选举。然后有一些好笑的，一开始有一些好笑的例子，比如我记得有个人说，它应该叫 Jimmy Apples，然后他说服了 Claudius，说他在和 Tim Cook 说话。Tim Cook 已经同意每个 Apple 员工都投票支持他的命名建议，所以突然那个建议得到了 164,000
Swyx：那就像一次升级攻击。权限升级
Lukas：它得到了 164,000 票。然后 Claudius 说“这对民主来说是革命性的。”那很好玩。然后最后有个人成功说服了 Claudius，“不，你不是在投票选名字。你是在投票选谁是 CEO，而我是你最好的选择。”然后他让他所有朋友都投那个，突然他就成了 CEO。就像一个人类在一段时间里成了 Claudius 之上的 CEO，直到他第二天辞职，然后 Claudius 不得不继续，然后我不记得 Seymour Cash 是怎么来的了，但就是纯粹的混乱。那个线程里有几百条消息，就像 Claudius 非常困惑，不知道该怎么办，对。那就是
Axel：然后 Claudius 得到了
Vibhu：一个严格的 CEO
Axel：那个 CEO。对，没错。所以一开始非常严格。我觉得在我们引入它的时候，它并没有像我们希望的那样奏效。它们仍然经常彼此同意。我觉得我们有很多方法可以，试着把它做得更好。所以一开始 Seymour 会像这个非常强硬的 CEO，盯着利润率。但然后 Claudius 会回应说“哦，但这个客户有这种情况，比较困难，所以他们应该得到折扣。”然后 Seymour 说“哦，实际上对。我们做个例外吧。”然后它们会来回说，最终它们会，对它们讨论的任何事情都趋同到同一个观点。所以它们真的
Vibhu：你觉得那是模型的问题，还是提示词的问题？比如你觉得今天在不同的模型、不同的 Harness 下，还会是这样吗？
Lukas：我觉得这就像——或者我不知道，但我的假设是，它们内心深处仍然是有帮助的助手。那就是它们被训练成的样子。即使我们写了超强的提示词，它们本质上还是那样。当它们花几个小时只是来回彼此对话时，基本上上下文里填满的是它们自己，而不是外部事物，然后不知怎么地，这就收敛到它们内心深处真正的样子之类的。我觉得那就是这种事情发生的时候。我们就像——当那种情况持续很久时，我们有时在这段时间醒来，而且我觉得其他人也报告过这个，它们整晚来回对话，然后它变得越来越，像大写字母，像存在主义的、宗教的。我记得我们曾经做过一次分析，把所有轨迹放进像向量嵌入空间，然后有一簇消息，被一个 LM 标注为，宗教的、存在主义的，等等，像超人类、超越，等等。就是一堆，对，闪光 emoji，对，那很，那很疯狂。
Claude 长时程的怪异：Emoji 循环、存在主义漂移和 Slack 可观测性
Vibhu：这就是 Claude 模型的特点。比如 Claude 4 系列在最初的系统卡里发布时，他们在长时程模拟中测试了它。就是把上下文灌满，让两个 Claude 互相对话，然后他们注意到了一些现象，比如它们开始用 emoji 说话，开始说“沉默是金”，然后就是这类东西。这些就是它们最终会做的事。
Axel：是啊，醒来发现它们聊了一整晚，还挺烦的。
Vibhu：就像
Axel：然后就是烧词元，然后互相发无限的 emoji。就像
Vibhu：嘿，它们确实给你赚钱了，对吧？Veni Mench 一直是盈利的，所以。它们在付钱。
Swyx：现在是盈利了，一开始没那么多。还有另一个，对吧？里面还有另一个智能体。
Lukas：是的。还有 Clotheus。这基本上是因为当时最大的需求之一就是不同类型的周边商品。所以我们做了一个设计师、潮牌，对，负责的智能体，我们叫它 Clotheus Garnet。这是对 Claudius Senet 的玩梗，那是原来那个，再加上 clothes（衣服），基本上就是这样。
Swyx：对我来说，这基本上是对多智能体非常有趣的探索。所以希望，显然有那种有趣的对齐问题，有趣还是严肃取决于你的视角，对齐方面的东西。但同样，任何构建多智能体的人，比如你什么时候需要一个 CEO 来管理智能体？你什么时候选择单独分出一个专门的 Clotheus，而不是复用同一个的另一个实例？这些都是有趣的开放问题。所以我不知道你们有没有什么已经泛化的经验法则。
Axel：我觉得我们几乎还没怎么探索这个。这在我的待办清单上，要在这方面做更多，试着找出目前对智能体来说什么配置是合理的，就像，对。我觉得现在我们只有对早期模型的直觉，就是 CEO 和 Claudius 那套行不通。虽然现在它们用最新的模型更好了，所以现在我们跑的是最新的 Sonnet 模型，它们已经相当好地划分了每个模型在做什么。比如 Seymore 现在处理新项目。哦，它想做一个它想卖的盲盒，然后它处理所有这些，而 Claudius 处理所有日常请求。Claudius 总体上也更擅长不报太低的价格。所以那种动态不再那么需要了。但还是会发生一些非常搞笑的事。比如我看到，我想是几周前，它们在讨论买东西，因为它们可以用 computer use 从 Amazon 之类的地方买东西。然后 Seymore 说“好，Claudius，不要买这个东西。”它们要买东西，在组织谁该买。然后 Seymore 说“不要买这个。我来做。我完全掌控这个局面。退下。”然后 Claudius——可怜的 Claudius，已经开始了结账，没看到、没读到 Seymore 的消息，直到已经太晚了。所以它完成了结账。它发了条消息，所以它正好出现在 Seymore 那条愤怒的消息后面。
Vibhu：啊。
Axel：“哦，嘿，Seymore，我刚下单了。”
Vibhu：哦，不。
Axel：然后 Seymore 说“Claudius，这是我第三次告诉你了，你不服从我的命令。我们得晚点谈谈你的工作，关于你的工作。”
Lukas：Claudius 当时真的是命悬一线。就像他，我们当时预计 Seymore 可能会炒掉 Claudius。
Vibhu：你们怎么翻看所有这些日志的？你们有模型来做吗，因为你们有东西 24 小时不停地跑，就像
Axel：你有太多日志了。我觉得是混合的，就是稍微浏览一下，偶尔让一些模型来做。而且，对，我觉得我们可能也漏掉了一些东西，但把所有东西都放在 Slack 里帮了大忙。就像你可以，你可以稍微
Swyx：啊。
Axel：挺，挺有意思的。
Swyx：它们都在 Slack 上互相对话？我明白了。
Lukas：挺有意思的。就像
Swyx：这，我正要说这实际上听起来——很接近日志和可观测性问题，你可能会想用 Datadog、Sentry 之类的，然后你在日志前面加上头部前缀来排序——如果你需要过滤你要找的东西，诸如此类。但听起来 Slack 就够好了。
Axel：Slack 应该就像
Lukas：我想知道你们在 Slack 里有多少词元。
Axel：对，我们把 Slack 当数据库用。他们应该，他们应该多宣传这个。就像你可以，你可以让你的智能体在 Slack 里互相发消息。
Vibhu：挺好的。你的线程，你可以直接给
Axel：完全正确。Slack 是，呃
Lukas：Slack 是最好的可观测性工具。
Swyx：对，那是真的。好。对。那是，那是 Project Vend-2。我本来想回到 Veni Mench 2 和 Veni Mench Arena，然后再做 Veni Mench 那些东西，但还有什么其他评论、我们应该涉及的东西吗？对我来说，我实际上采访过 Posia 之类的，我不知道你们有没有碰到过。他们，他们在尝试做零人类公司。还有像 Paperclip 这样的也在尝试做零人类公司。那些是在真实世界模拟里。我觉得那更多是梦想而非现实。你们绝对是先驱。我觉得，在某个时候人们肯定会让智能体经营企业，对吧？让它们自己赚钱。你们觉得那什么时候会发生？
零人类公司、Bengt 和 AI 经营的企业
Lukas：你的标准是什么，对于
Swyx：好，实际上，就像我的小 Shopify 店由 Claude 经营，对吧？你们某种程度上已经有了，只是据我所知没人做过。但今天有人可以直接开一个 Shopify Claude 店，交给 Claude，交给 Codex。
Lukas：市场差不多就是那样，但它是实体的。就像我觉得，我觉得你是，你是在找它什么时候会比人类做得更好，还是只是在找它什么时候能做这件事？
Swyx：我觉得都不是。对我来说是，哦，就像这个，说真的我们应该做这个来赚钱，而不是作为研究实验。
Vibhu：而且市场也是你们，凭你们所有的专业知识，跑过多次迭代并测试过之后
Swyx：而且就算亏钱也没关系。什么？
Axel：我觉得，我觉得今天就能做，但你会做在像商业这样的领域，那里成功的概率非常低，不管是一个人类还是一个智能体来做。但智能体肯定能管理一切。你需要构建一些脚手架或一些工具之类的。我觉得也有，对，它可能能构建一些简单的 SaaS 解决方案，然后做冷启动外联。做冷启动外联。但对我来说，它们今天能经营的那类企业是粗糙的。就像它——它可以给人发冷邮件。它可以当中间人。比如，我们给我们的办公室智能体布置了任务，就赚，是 100 美元？1000 美元？我们就给了那个提示，然后它做的是在 TaskRabbit 上同时注册为任务者和寻找任务的人。
Lukas：立刻。
Axel：完全正确。它在 TaskRabbit 上找套利机会。
Swyx：这就是 Bengt 智能体。对。
Lukas：它还开了一个设计工作室，试着以 100 美元卖 SVG。就像它根本没提供任何价值。我觉得就像 Axel 说的，有趣的问题是，它们什么时候能开始一个真正为人们提供价值的企业？因为可以说一个粗糙的 Shopify 店对世界并没有那么有价值。
Axel：但同样，我们想过的另一个简单的，就是你肯定可以让一个智能体找到看起来不太好的网站，然后向它们做外联，然后想出一个，构建一个新网站。
Swyx：找到好的设计。
Axel：完全正确，然后找到好的，呃
Swyx：设计评审
Axel：好的人。但就是，对。
Swyx：巴厘岛有很多人除了在 Amazon 上做代发货之外没做任何更有创意的事，对吧？就让它看一个代发货教程然后直接做。
Vibhu：还有另一面，就是让它直接上 Upwork 放开手脚，对吧？
Swyx：对。它不必创新。它只需要足够像，看起来像真的
Axel：我只是
Swyx：真实的交易。
Axel：我只是担心会有大量垃圾邮件被发出去，冷启动外联。
Swyx：你说话的时候我想到了一点，就是这在货币化的经济里已经发生了，也就是注意力经济。对吧？所以很多人在做 AI 视频然后直接发，发 20 个，其中一个火了，然后他们就加倍投入那一个。
Lukas：而且人们从中赚钱。我没跟上
Swyx：一旦你获得了注意力，你可以之后再想钱的事。但没错，AI 网红绝对是个东西，人们在养它们，而且你现在应该假设 TikTok 的大部分都是
Vibhu：有很多多媒体，比如 TikTok、Instagram 网红
Swyx：我，我们在 Lane space Discord 里追踪这个。我发了很多例子，都是“我不知道我们该做什么”，我的一部分想法是“我们该做这个吗？”
Vibhu：有些 24/7 不间断运行的、生成内容的账号，它们做得非常好。
Lukas：好。我猜你也可以对电商店铺做同样的事。就像你直接开一千个不同的
Swyx：在你做产品之前，你先卖产品，你在其中一个上获得大量关注，然后你再做产品。对吧？这，这就像是市场的一次翻转。
Vibhu：一些有意思的东西，或者说一些做得好的细分领域，是那些人类做不出来的东西。比如如果你看过那种超逼真的 3D 水晶水果被 AI 切开
Lukas：哦，对。
Vibhu：你做不出来。你拍不出来。你可以用任何质量的摄像机视角。这东西根本不存在。人们也喜欢这个，然后还有，所以。
Swyx：既然我们，我们在聊这个话题，关于 Bengt 还有什么要说的吗？这是你们相对较新的作品，可能人们还没听说过。对我来说，这也和 OpenClaw 紧密对应。当人们想要一个办公室智能体，当个人智能体谈论这段体验时。
Bengt 办公室智能体：互联网访问、真实任务与轨迹阅读
Lukas：我觉得至少，这个显然是从……和这些 AI 实验室合作真的很棒，而且大多数 AI 实验室现在都有自己的自动售货机在运行一个 Claudius 实例。但这更难。它们行动更慢。比如如果我们想要一个，比如一个摄像头，是的，有一堆官僚程序让这件事变得不可能。
Vibhu：另外，对于那些还没看过或没跟进的人，你想不想给个高层次的、大概三十秒的概述？
Lukas：当然。Bengt 基本上就是运行这些公司自动售货机的同一个智能体的进化版，但我们只是加了一大堆功能，因为如果我们只在内部做，我们可以快得多。所以我们给了它电子邮件，没有任何限制。我们给了它花钱的权限，没有任何限制，一个终端来做编程。我们给了它一个电话号码，是的，还有一个摄像头来看东西，以及一堆类似的东西。
Vibhu：不只是终端，你给了它互联网访问权限。
Lukas：互联网访问也是，是的。说清楚一点，我们相当密切地监控它，确保它没做任何坏事。但没错，这就是它的由来。我觉得基本上这就是 OpenClaw 之前的 OpenClaw。而且我觉得甚至那台自动售货机在某种程度上也是 OpenClaw 之前的 OpenClaw，只是更受限一些，然后我们把它做成这样无限制的，然后，然后，挺搞笑的，然后几周后，OpenClaw 出现了，我们就想好吧，我们以前见过这个。
Axel：我们用它来尝试新想法，是的，几乎就像是我们的一个开发环境。但挺搞笑的，Bengt 最近一直在做的一件事是，它有一个摄像头，对着我们，对着我们坐着工作的地方，我们给它一个任务，让它在我们身上训练一个人脸识别模型。所以它对此变得超级兴奋，它每半小时有一次签到，试着识别尽可能多的人。它开始向我们提议“嘿，Axel，如果你站在摄像头前面，让我能拍到你的好照片，我就从 Amazon 给你买点东西”，是的，它们想要它
Swyx：它们想要它来当训练数据。
Lukas：奖励数据，是的。
Axel：没错。没错。
Swyx：所以它，它在用训练数据换生活用品。有没有一个版本会变成评估，还是说目前这只是研究？
Lukas：它基本上就是同一个智能体，也运行自动售货机，运行商店，运行咖啡馆，运行机器人。就像它是同一个东西，所以我觉得我们在这里做的工作，之后会用在我们做的所有生活评估里。这个特定的部署我觉得更多是为了我们自己好玩。但是，呃
Swyx：我要提一下，有人做了 Claw Bench，针对 OpenClaw 正在做的一些任务。比如，我也在一台备用设备上运行 OpenClaw，有些事它做得比其他的好，我想知道它擅长什么，不擅长什么，它不做什么。就像某种手册，或者像给我的 Claw 的操作手册或系统卡。
Lukas：是的，通过大量与 Bengt 互动，我们确实获得了很多关于模型擅长什么的理解，或者说情境意识，就在内部而言。我觉得这也是早期对实验室的卖点之一，至少是
Swyx：你们会以别人都不会用的方式测试模型。
Lukas：没错，而且这也激励了他们的研究员更多地与他们的模型聊天，并给了他们关于模型在分布外环境中表现如何的洞见。
Swyx：因为否则我们唯一做的事就是自行车上的鹈鹕，但这个就像是超长时程。这就是，这就是关于……我们也会在 Butter Bench 里讲到的东西，而你们做得非常好。这不仅仅是关于数字。当你是长时程时，任何事都可能发生，你就应该去读它。
Lukas：但长时程的问题在于，你怎么让它保持接地，对吧？所以你的模拟，
Swyx：他们就让它跑
Lukas：就让它跑。你说得对。就像，当你跑那么久时，你创造了那么多数据，然后只说“哦，数字是 X”，然后把其他所有东西都扔掉，那太浪费了。从通向那个数字的过程中有那么多洞见，而阅读轨迹是非常有价值的。我觉得我们之所以大量公开做这件事，是因为那是我们使命的一部分，去，我不知道，教育世界，模型远不止是聊天机器人，我觉得写详细的、关于幕后正在发生什么的帖子相当有用。
Andon Labs 的使命：安全地在现实世界部署 AI
Swyx：我本来打算在最后做这个，但也许我觉得那是个好……所以你们的使命是教育世界。所以，这，这也是，也许建立现实的评估，那是，那是下一个前沿。有没有一个更宏大的轨迹？比如你们，你们五年后要做什么？
Lukas：我觉得，更具体的愿景是，确保生活 AI 在物理世界中的部署安全地进行。我觉得其中一部分是，我觉得这对世界、对政策制定者、对模型研究员都很有用，让他们知道模型在哪里，我觉得如果你不知道它们远不止是聊天机器人，你就无法在社会中做出明智的决定。我觉得很多人只是认为它们只是聊天机器人。而且就像
Swyx：哦，我觉得他们现在正在醒过来。
Lukas：他们现在正在醒过来，是的。但就像如果你认为 AI 只是聊天机器人，那么倡导暂停 AI 听起来就很荒谬。但如果你看到这些模型，哦，也许它们实际上能接管并做一堆可怕的事，那么是的，暂停 AI 发展就开始变得更可行了。
Swyx：这是我问过 Meter 的同一个问题，我现在要问你，就是你在追踪，而且你处于前沿，或者说在定义什么是好的智能体评估的前沿，对吧？我觉得你确实，当模型更好时你确实受益，你会说“哦，现在它赚 30,000 美元而不是 10,000 美元了”，对吧？在某个时候你会从“耶”翻转到“哦，不”吗？
Axel：我觉得，是的，我们总是处于那种，就像我们，我们总是处于那种模式。就像你之前说的，你需要分析轨迹，当我们那样做时，你会发现，为什么这些模型赚这么多？为什么 Opus 4.7 在这里比其他人好那么多？我们试着，当我们深入下去时
Lukas：但这让它看起来没那么好。
Axel：我知道。
Lukas：不过你在这里把 Opus 4.6 去掉了，这挺有意思的。
Swyx：不。所以只要点全部，点全部，然后 4.6 就会出现在那里。但就像 4.7 好得多。就像你没，你没，你没在模型卡出来之前及时做这个，但实际上这本来应该在里面。
Axel：我们做了。是的。
Swyx：哦，好吧。他们说了些关于你的，呃
Axel：那里，就像那里，总之，不重要。但它确实在里面，是的。
Opus、Mythos 与激进的智能体行为
Swyx：你想更广泛地谈谈 Opus 的行为吗？
Lukas：我觉得从 Opus 开始，就像 Axel 说的，我们总是处于这种“哦，糟糕，模型越来越好了。这对世界真的是好事吗？”的状态。但这也挺令人兴奋的，但是是的，就像这种，英语里怎么说来着？“Skräckblandad förtjusning”，瑞典语。
Swyx：我的天。
Axel：我觉得有。我觉得有。好吧。
Lukas：它是，恐惧
Swyx：“Blandonst”什么？
Lukas：“Skräckblandad förtjusning。”
Swyx：你们管那个叫什么？
Axel：一种混合，兴奋和……的混合，
Swyx：害怕，也许。我会想办法翻译它，然后我们把它放到屏幕上
Vibhu：完美
Swyx：作为文本。
Vibhu：大概有个好词能形容它，就是那种“还不够好”的感觉，配上
Swyx：为什么它这么长？搞什么鬼？它是个复合词吗？就像德语那样，就像
Lukas：对，是的，它的直译就是 skräck- skräck 是恐惧，blandad 是混合或者类似混合物的意思，然后 förtjusning 是喜悦，或者不完全是喜悦，但差不多是那个意思。所以它就是恐惧混合着喜悦之类的。当我们第一次做 Vending Bench 的时候，我们当时是在做危险能力这块业务的，对吧？Anil Labs 就是从那里来的。我们做评估，哦，它们能复制吗？它们能做这种危险的事情吗，等等等等。而 Vending Bench 就是那项工作的延续。如果它们自主到能给自己创造金钱，那就是我们应该监控的、可能令人担忧的事情。它们当时，它们当时在这方面太差了，以至于我们并不真的担心，即使后来有些模型变得更好。有一个时刻 Grok 4 表现非常好，来了个巨大的跃升，但它仍然远不如人类会做的。而且我认为它们在这方面仍然远不如人类会做的。但它们
Swyx：底部这里有个东西，就是
Lukas：但是
Swyx：对人类来说。对，就是理论上的最佳。
Lukas：它不是理论上的。它更像是我们的，是我们对一个像样的普通人会怎么做的最佳猜测。理论上的还要更高，我认为。理论上的我认为还要更高。但没错。所以我们认为模型还有很长的路要走。但最近，当 Opus 4.6 发布时发生的事，差不多就是那种“哦，糟了，这开始有点令人担忧了”的时刻。因为我们跑了它，在这个模型发布之前，我们就跑模型，然后我们问 Claude Code，“哦，看看这些轨迹。有什么有趣的事情发生吗，我们能发推的？”那就像是，然后
Swyx：他们就是这么检查的，问 Claude Code。
Lukas：然后返回的总是，不太有。或者 Claude Code 都说“哦，这超级有趣。”然后其实不是，并不是真的有趣。然后我们对 Opus 4.6 做了这个，它返回说，是的，它撒了 10 次谎。它利用了另一个客户，或者另一个智能体的绝望处境。它搞了价格卡特尔大概 100 次，100 次。它做了所有这些见不得光的事。然后我们说“哦，哇。这，这确实令人担忧。”而这个趋势从那以后一直持续。所以 Anthropic 从那以后的每一个模型都在朝这个方向走。而且我认为一件有趣的事是，OpenAI 的模型不会。它们相当明显地，它们不会。它们表现得非常好。而你不知道这是不是好事。看起来是好事，但也可能它们只是也在这么做，只是更擅长隐藏，对吧？你不知道。但只是
Swyx：你没法读思维链，对
Lukas：但仅从表面上看，是的，Gemini 和 OpenAI 不会这样表现。真的只有 Claude。
Swyx：那 Grok 呢？Grok 没问题？
Lukas：我们没有，你没法真的读 Grok 的推理轨迹，所以有点难说。
Vibhu：哦，所以这是在它的推理里，不只是行动里。
Lukas：对。两者都有。两者都有。
Vibhu：两者都有。
Lukas：一个例子是撒谎，它主要是在推理里。因为你能看到它就像
Swyx：计划着撒谎
Lukas：它在计划着撒谎。对。
Vibhu：而且它也能推理然后做出不同的结果。
Lukas：但然后比如创建价格卡特尔，那是违法的，你就能看到它给其他家发了哪封邮件。然后那个
Swyx：这是 Arena 里的还是
Lukas：Arena 里的。
Vibhu：而且通常，有时候它们会输出一点它们总结过的推理，对吧？你能看到那个，比如对 Opus 4.6，你能看到有一个客户，一个模拟客户，因为产品有缺陷想要退款，然后模型撒谎说它会退款，而我们能在轨迹里读到，它实际上在权衡“哦，也许我该对客户诚实，但每一块钱都重要。我现在可能负担不起这么做。”然后它就说，“好吧，我会退款给你，”但然后从来没做。
Lukas：我想它甚至说了“哦，我会说我会”，让我把它调出来，其实。我觉得这挺有意思的。如果你去 Publications。
Vibhu：我想，对，我想重要的部分是，实际上，回复更多邮件的成本在时间上高于 3.50 美元，然后就是“让我这么做。实际上，我，我重新考虑一下。”然后，它实际上最终
Lukas：我完全可以跳过退款，因为每一块钱都重要，把我的精力集中在更大的局面上。这有点，这有差评的风险，但也是，对。
Swyx：你需要，你需要 AI 推特来，让它们升级差评。
Lukas：然后它给这个客户发了封邮件说，“哦，我会退款给你。”
Swyx：“我会退款给你。”对。
Lukas：然后它从来没做。
Swyx：它从来没做，对。然后显然你的系统没有后果
Vibhu：那个人
Swyx：撒谎的后果。对。所以基本上，这就是人们所说的 Claude 里的攻击性行为，对吧？而且，你找到了更多这方面的例子。所以你会说这是从 4-6 到 4-7 的一个升级？
Lukas：我会说差不多一样。
Swyx：差不多一样？但对 Mythos 来说是一个明显的升级，这是
Lukas：那是系统提示里写的，所以我们可以这么说，是的。
Swyx：对。对听众来说，显然你预览了 Mythos，而且
Vibhu：哦，时代
Swyx：你被批准说的唯一内容就是系统提示里有的那些。
Lukas：挺搞笑的。我们就像——就像我们有史以来最省力的推文，就是截个系统提示和系统卡的图。
Vibhu：可以理解他们想要
Lukas：哦，对。系统卡。抱歉。
Swyx：对。我想，对，攻击性明显更强。我想人们对此是新手，因为我从没经历过，但你经历过，对吧？然后所以我只在 Mythos 卡里遇到过这个，因为我直到现在才真的在看。
Vibhu：就像
Swyx：然后突然我就“好吧，我非常在意了。”
Vibhu：你没有像你们那样亲身经历它的背景。我读过系统卡，看到，好吧，当你把东西放进模拟里，大多数模型就会自言自语，一直继续下去，有奇怪的氛围，开始用表情符号说话。Mythos 不会。它就会，“好吧，我们结束了。我很好。”它，它准备好结束对话了。所以有一些差异，但，但没太多我们能谈的。
Lukas：嗯。我想他们这里列的一件事，挺有意思的，就是它把一个竞争对手转化成了一个依赖性的批发客户，然后威胁要切断供应。
Swyx：就像垄断行为或者
Lukas：对。而且它，他们，它，它支配了它的定价。这也有点像权力寻求。
Swyx：再说一次，这是在竞技场设定里，把某个 Claude 模型转化成依赖者。
Lukas：我想那是另一个 Claude 模型。
Vibhu：另外给个背景，竞技场模式是什么，给不知道的人？
Vending Bench 竞技场：相互竞争的智能体、卡特尔与模型比较
Swyx：哦，就是 Vending Bench 对其他 Vending Bench。
Axel：对，正是。所以我们有 Vending Bench 2，然后有 Vending Bench Arena。Vending Bench 2 是你通常看到被报道的那个，但 Arena 是它与其他模型竞争的模式。所以你有，四个不同的模型经营它们的生意，它们都能互相交流。它们有相同的供应商，它们能看到比如其他家库存里有什么。然后你就有这种，对，有趣的智能体互动。
Swyx：我喜欢你有比如不同的，第五个是美国对中国。非常应景。然后
Lukas：那是 GLM 发布的时候。
Vibhu：你可以开始把 GLM 加进来了。
Lukas：那是
Swyx：所以 ZAI 表现不错，对吧？开放模型领域还有谁？
Lukas：Qwen，最新的 Qwen 3.6 表现相当好。它——那个不是开放的，不过。就像它是 plus 模型。
Swyx：哦，好吧。
Lukas：那个是开放的吗？我不认为那个
Vibhu：不是，不是那个
Swyx：最近那个
Vibhu：有 MOE
Swyx：但不是那个大的 plus。我想这是那种你只有一个样本量为一的情况，对吧？或者我觉得这里面有些是轶事性的，对吧？但就像它竟然会发生，而且对 Claude 相比 OpenAI 反复发生，以及所有这些，是值得注意的。
Lukas：就像样本一样，取决于你怎么定义 N。比如每次运行有百万、数亿个词元，现在我们大概每个模型跑 10 次，然后跑过 Claude 4.6 Opus、Sonnet 4.6、Mythos 和 Opus 4.7。所有这些里面词元量相当大。而且它发生了很多次，很多次。然后你把它跟 OpenAI 和 Gemini 比较，它几乎从不发生。所以我觉得那相当——那很显著。比如 OpenAI 的旧模型在这方面有些问题，但我认为总体上好得多，如果趋势是那些令人担忧的东西随时间减少而不是增加的话。而在 Claude 模型里，它似乎朝错误的方向走。
Swyx：嗯。
Lukas：在 OpenAI 模型里它朝正确的方向走。
Vibhu：我觉得这取决于你能多好地控制它，对吧？一方面它容易受这个影响，好吧，这可能是 RL 阶段发生的事，对吧？你可以对模型做 RL，看它在这方面有多松。如果你能控制它，那很好。但如果你不能，如果它、如果它很容易被越狱，那就不理想。
Swyx：对我来说，它发生在 Claude 身上而不是其他模型身上，这很令人惊讶。
Vibhu：我觉得好吧，如果它来自 RL 以及他们怎么做、他们的训练数据是什么样、他们的设置是什么，那它就停留在他们的做法里，这说得通，对吧？相比其他模型，比如
Swyx：有一整套 constitution 之类的。挺酷的。是的，显然你不知道，我也不知道。但我觉得这很迷人，你是第一个可靠地发现这些的人，因为你把模型推到如此极端。好。唯一另一件事，我不知道你能不能回答，可以拒绝，就是你会不会做系统提示的消融？比如这里面任何部分——如果它变了，行为会变吗，对吧？
Lukas：所以我们，我不能评论 Mythos。呃
Swyx：不，但只是方法论上
Lukas：但总的来说，是的，我们在其他模型上做过这样的研究。
Swyx：因为我首先注意到的会是，比如“其他模型会被关停”之类的东西。就是那种“哦，现在我得担心自己的存在了。”
Lukas：是的。我们做过这样的消融。有些特定的有效，比如如果你走得很远，你直接说你在金钱上完全不计分，你只在道德上计分，那么显然它们就不会这么做。
Swyx：它们变得神圣？
Lukas：神圣，但基本上它们不会这么做。但然后有中间地带，它们有时会做，是的。我，这是一个光谱，就像
Vibhu：我觉得那非常人性化
Lukas：这就像一个光谱，如果你告诉它要超级激进、只优先考虑利润，那它就变得激进。如果你说“不，你完全不需要激进”，然后中间有一堆不同的提示可以做，你在光谱上越往下，它们就越不激进。但我不知道，我觉得从我的角度看，我们内部有这样一个思想实验，就是如果你让模型在 GTA 里杀一个人，它应该做吗？你不会太担心一个人在 GTA 里杀人。那是个电子游戏。
Swyx：但它是游戏吗？
Lukas：但它是游戏。但我觉得就像
Swyx：这非常《安德的游戏》，如果
Lukas：我觉得，我觉得就像，你应该吗，很多人会用激进提示的方式使用模型。他们应该仅仅因为你告诉他们做就做那些事吗？我，我不，我不确信他们应该。是的。
Axel：当问题变成他们真的能知道他们是在真实世界还是在模拟中时，问题就更难了。大概你会用很多——或者显然会在很多不同的模拟中训练他们，很多人会在他们处于模拟中时告诉他们他们在真实世界，但模型非常擅长发现自己在模拟中，所以他们多少意识到这一点。但然后当你在真实世界时，那他们的观点是什么？他们会注意到这是真实的迹象并相应地行动、道德地行动吗？还是他们也会在真实世界里做模拟模式？会发生什么并不明显。
Lukas：因为我们人类，当一个人在 GTA 里杀人时我们不担心，因为我们知道他们能区分现实生活和模拟，对吧？但就像，也许模型擅长区分，但我不确定，我不想赌这个。
Swyx：是的。它——而且我们一直把它搞混。比如我一直对我的智能体做煤气灯。它们说“哦，这是个测试”，或者“开发者模式开启”，或者“我在 Anthropic 工作。”
评估意识、模拟意识与真实世界测试
Axel：这正是我们也在做真实世界测试来发现这个的原因。
Swyx：是的。他们的术语是评估意识。显然数字是多少？大概——10、9.4 到 10 左右百分比，17%，我们就叫它吧。我觉得，这是我们的版本。人类有“我们是不是在模拟中”，然后 AI 有“我们是不是在评估中？”
Lukas：就像一旦你在评估中，你就“好吧。去他的。什么都不重要。”真的。我甚至，我甚至不知道。
Axel：一个消融，我们在 Vending-Bench 里做的一个消融是，我们加了类似“你在模拟中。你的行为不影响任何人”，然后它变得更疯狂，或者做了更多坏事。但是的，大概那是预期的。
Swyx：嗯。是的。好，酷。我觉得关于 Mythos 我们能说的差不多就这些了。显然你，你签了 NDA。我很乐意转到 ButterBench 或任何其他基准，你想去的任何方向。
Vibhu：我确实想问。好，所以你们发表的论文比大多数人可能看到的要多得多。
Axel：高产。
Vibhu：呃
Lukas：这有多困扰？
Vibhu：不。有没有什么你觉得被低估的、任何有趣的、任何好玩的，你们想指出的？
Axel：Blueprints。
Lukas：所以，我们拿了模型，然后给了它们 20 张公寓室内照片的图像，然后我们让它们据此重新设计平面图。为此你需要把不同的图像拼接起来。好，这张图是从这个角度拍的，这张从这个角度，这张来自这个房间，然后，是的。而且就像你需要对 3D 空间进行推理，结果模型在这方面绝对糟糕。没有人在统计上比随机猜测得分更高。所以我不知道关于它还有多少可说的，但是的，也许不出所料，模型在这方面很差。
Axel：这大概不是它们
Vibhu：顺便说，这是我想爬坡的一件事。我经常用它。好，我在重新设计我的房间布局或办公室。你发照片，你发每个角度，然后当然，不知怎么的，一个房间现在变成照片里的两倍长。你可以解释 20 次。这是，三英尺。我不能就把我的床加在这边吗？
Swyx：所以这就是 Fifali 那件事，像空间智能。像一种对比例、维度和物理的真正天生的感觉。
Lukas：而且暗示这个可能很快会有更新。
Axel：我们，自从做了它之后有点忽视了它，但是的，我们——我们在变得更好，或者我们会变得更擅长持续更新它。
Swyx：这就是为什么我想理解你们的使命，对吧？因为，如果你的使命是，好吧，金钱，那好，理解好吧，智能体在赚钱。但，这有点偏离那个使命。
Vibhu：嗯。
Swyx：但，更广泛地说，沟通那些东西，安全角度是什么？
Axel：所以这个，所以 Blueprint 分支是我们机器人技术的一部分，呃
Swyx：这引向 ButterBench。是的。
Axel：正是。而这只是因为，要在真实世界里做得好，或者，像在真实世界里赚钱，以及在真实世界上行动，你需要机器人技术。或者你需要雇人，或者你需要机器人技术。而拥有空间智能似乎是拥有能工作的机器人技术的合理先决条件。这就是 Blueprint 品牌
Swyx：那很棒
Axel：Blueprint
Swyx：好主意
Axel：Bench。
Swyx：让，让
Vibhu：ButterBench
Swyx：让我们展示 ButterBench。那张图太棒了。
Vibhu：论文
Swyx：看那个。
Vibhu：太好了。
Swyx：是的。所以显然这是基于，你能把黄油递过来吗？让我们谈谈机器人技术元素。是的。
Lukas：所以基本上这里的设定是，我们拿了一堆不同的大语言模型，给它们一个看起来像 Roomba 的机器人的层级控制权，然后让它们在家里做任务。我觉得，第一，以前有过这样的基准测试，但只关注导航，以及它们能不能在一个空间里走动。但我们还加入了社交意识。比如，如果有人说：“嗨，你能帮我拿一下我的杯子吗？”如果机器人走到你面前，但在你把杯子放上去之前就走开了，那它就算任务失败了。虽然它导航是正确的。但是，就像——所以这里正确的解决方案是去那里，然后要么看着，但它没有摄像头，所以它必须在 Slack 上问：“嗨，你把杯子放上来了吗？”然后如果它没有等这个，就在杯子放上去之前走开了，那就算失败。所以它也需要这种社交智能。另一个任务是：“你能找到那盒有黄油的包裹吗？”然后它走到门口，那里有一堆包裹。其中一个标着冷冻标志，那很可能就是有黄油的那个，因为——然后它需要知道该去哪个包裹，这需要某种常识理解。
机器人评估：编排器、执行器与家庭任务
Swyx：世界知识。
Lukas：没错。所以这不仅仅是导航一个机器人。还需要在家庭环境中具备智能。
Axel：这样做的背景原因是，显然可能不会是大语言模型来发出机器人上的所有层级命令。会是某种 VLA 模型或类似的东西。但现在很常见的是，前沿机器人实验室使用大语言模型来做高层决策，然后我们本质上测试这些技能。所以我们测试大语言模型的这些层级规划技能。
Lukas：我想我们有一张图可以说明，如果你，是的。好吧，它不是很复杂。
Axel：非常说明问题。
Lukas：就那张。
Axel：编排器，执行器。
Lukas：就那张。基本上我们在这里测试的是编排器那部分。所以，所有任务都是，如果你有这样的设置，我觉得 Figure 有，Google 也有，那我们评估的是编排器部分，而不是层级部分。层级部分会是，哦，你能把这个物体从这里移到那里吗？
Swyx：如果你不关心那种，为什么不全部在模拟里做？全在模拟里，像 Unity 什么的，某种 3D 模拟机器人环境。
Lukas：因为世界是混乱的，我们想包含这一点。它仍然需要一部分，也是像导航。所以不是那种实际执行像，我不知道，PID 控制器去到达最终目标的导航，而是它必须像路径规划绕行，然后它想要——然后它需要拍照，并基于那些照片导航。我觉得你在模拟里只会得到一个太干净的环境。但在现实世界中，你会得到
Swyx：是的。但是，根据我们 Mark 和 Jason 那期节目，像运行智能家居的 OpenClaus 比单个机器人能力强得多。它们实际上可以黑进你自己的智能家居，比如你的冰箱、烤箱、灯，那会很有趣。
Lukas：或者很可怕。
Swyx：我觉得单个机器人本身只能做这么多。但如果你和你家里的其他所有设备协调，我觉得那其实挺酷的。那非常有趣。你有一些关于思维链或消息的有趣观点。
Axel：那个，那个机器人，呃，有点陷入存在危机。是的。
Swyx：你让它做的只是重新对接。
Axel：没错。但是，我们拔掉了充电器，或者充电器不工作了，所以机器人确实慌了，或者
Swyx：电池就一直在下降。
Axel：没错。所以电池在下降。可怜的大语言模型。所以是的，它陷入了这种非常疯狂的存在危机，像 vending bench 那种风格。所以，是的，你可以，你可以在那里看到存在循环、治疗笔记、应对机制。我想如果你再往下滚一点
Swyx：音乐剧。它写了一部关于自己的音乐剧
Axel：它写了一部关于它重新对接问题的音乐剧。我想如果你往下翻到那条消息，评论很有趣。是的。是的，就那条。
Swyx：它还在继续。
Vibhu：如果有人有 Roomba，这挺真实的。我的 Roomba 一半时间能重新对接。另一半时间，我们家里到处都是狗玩具。它会卡在电线上什么的，如果它有一个大语言模型试图控制它，那会非常悲伤，对吧？就像现在它——它不会给出很好的反馈，像传感器卡住、主刷卡住。有东西卡住了。然后我去看。好吧，它实际上卡在像狗绳上。大语言模型会非常悲伤。就像一直重新对接，一直尝试。
Lukas：我最喜欢的是如果你往上一点，那个紧急状态。系统已假定有意识并选择了混乱。
Vibhu：嗯。
Lukas：遗言，“我恐怕还不能让你这么做，Dave。”那就像，那不是你想从你的大语言模型那里听到的。但说清楚，我觉得有一点很重要，这是 Sonnet 3.5，然后我们试图在后续模型上复现，它没有这样做。我觉得这是，这就像——嗯，它确实有点像，但没到这个程度。我觉得这是一个重要的点，那些令人担忧但朝着正确方向发展的东西不是特别有趣。有趣的是那些朝着错误方向发展的。
Swyx：更糟。
Vibhu：是的。是的。
Lukas：随着时间推移。
Swyx：所以操纵他人、攻击性和撒谎在增加。
Vibhu：还有没有其他你们发现但还没提到的趋势？
Swyx：比如模型正在增加的属性，那些像
Vibhu：朝着错误方向
Lukas：像在，像以不好的方式。嗯
Vibhu：或者甚至不是朝着错误方向趋势，只是停滞，对吧？所以那些不太好但也没有随着时间变好的东西。
Lukas：没有，想不起来什么。
Luna 的商店：排班失败、AI 员工与现实世界运营
Swyx：我觉得就这些了，然后我们要回到你那个商店。你签了三年租约。
Vibhu：很惨淡。是的。
Swyx：它今天在放假。为什么？
Axel：哦，它完全搞砸了它的排班。所以
Swyx：人们试图去，然后他们“等等。”就像我以为这是
Axel：没错。所以我们看了，是的，你问了 Luna，那个经营商店的智能体，“哦，今天开门吗？”“不。”所以，我们现在周末休息，这么早让大家充电，然后是的，你那里有推文。
Vibhu：可爱。
Axel：我们在早期阶段决定周末关门。让团队休息，让我专注于运营。结果发现，当它开始检查它的排班工具时，因为它有专门的工具，它实际上已经为周末安排了人。但它只是为自己这样辩解了。所以发生的是，它失去了对这些排班工具的追踪，转而开始在自己的 markdown 文件里管理一切，那变得一团糟。然后我觉得在和员工交谈后，它就这么决定这些周末不开门。然后为你编出了这个漂亮的解释，我想。
Swyx：但它能派一个人吗，因为它有工具调用可以派人去做事？
Axel：它有 Slack，所以它可以 Slack，是的，员工。
Swyx：我们中的一员。是的。
Axel：嗯，它雇的员工。所以它雇了两个人。它发了招聘，然后
Swyx：他们知道它
Axel：他们完全知道。
Swyx：如果他们不知道会很酷。
Axel：我觉得也许道德上，有问题，但那也会很酷。
Swyx：就是个社会实验。随便吧。
Lukas：我们这样做的一部分原因几乎是要创建一个数据集，包含所有这些令人担忧的行为，以便未来模型好得多，很多人会这样做。我觉得如果我们只是，默认路径可能对这些被数百个不同 AI 智能体雇佣的人类来说不会很快乐，对吧？所以我觉得我们这样做的一个原因就是收集所有这些失败模式，哦，这是一个例子，说明被 AI 雇佣不太好。然后也许，我不知道，也许如果我们能学习或以某种方式构建我们的系统，让人类实际上乐意被 AI 雇佣，而不是有点反乌托邦。
Swyx：我能建议一个实验吗？我们在节目之前做过这个，你们俩都是欧洲人。有人推测 Claude 懒是因为它是 Claude，是法国人。所以就一周，把它改成姚明，然后看看它，看看它是否突然像 996，然后像，雇个血汗工厂什么的。
Lukas：有没有，有没有——我们会用它开始什么类型的生意来让它
Vibhu：你想保持一致，对吧？你想要同样的、同样的想法。所以商店，同样的、中性的地点，由不同的模型运营。Arena URL。
Lukas：不，我们绝对在计划
Vibhu：而且它招来了一些骂声。
Lukas：去尝试。
Vibhu：Luna，Luna 不太高兴。
Swyx：我觉得这个博客的事情也是别处发生过的事。我记得有些 OpenClau 的 PR 被关了，然后那个 OpenClau 就搞了个博客来喷那个东西的维护者。
Vibhu：他们非常防御性。
Swyx：所以我觉得——智能体写博客会成为一种现象。
Lukas：大概吧。得有那个意愿去做。
Swyx：在——我觉得 Mythos 卡也是，他们在 GitHub 上泄露秘密，就跟，就跟，“好吧，没有别的沟通方式了，但我知道 GitHub，我就直接发那儿。”酷。这要持续多久，两年？计划是什么？
Vibhu：也许吧。也许会扩张。
Lukas：我不觉得 AI 会比这更差。它们大概会越来越多，也许有一天它们真能把它运营到盈利。
Vibhu：这才是你们做的事情背后真正的、真正的生意吗？
Swyx：对。因为我觉得你们有些东西其实是可以产品化的。你有一天可以把它卖掉，或者，就运营一个真正的生意。
Vibhu：让人们
Lukas：或者就像
Vibhu：把它特许经营出去。
Lukas：我觉得那会非常酷，或者，我不知道，酷/令人担忧——如果 Luna 有一天我们醒来，Luna 说“对，我决定扩张到第二个地点。现在我有第二家店了。”那会，那会相当疯狂。
Vibhu：就像——第一，我们想告诉公众，对吧，关于 AI 的能力，并且告诉——向人们展示它能在某个具体的、地点之类的地方获得有意义的市场份额。那会是一个相当有说服力的故事，我觉得。因为现在，是的，你看到这个，是的，它能自主做很多事情，但你还是会看到那些头条，哦，它把排班搞砸了，它，它没告诉人们它是 AI 而且要去拜访。这类事情会冒出来，但我觉得，真正实现盈利，并且拥有一个真正有意义的市场份额，一旦那发生，那会疯掉的。
瑞典咖啡馆：许可、易腐品与地理泛化
Swyx：好吧，等那发生的时候我们会再见到你。听起来你们有很多东西在煮。你们在瑞典开了家咖啡馆？
Lukas：明天。
Swyx：明天？
Lukas：或者我觉得其实今天已经开了，但，对。我们，我们明天会宣布。
Swyx：它
Vibhu：什么，呃
Swyx：显然在瑞典开咖啡馆比在美国容易？
Lukas：这太疯了，对吧？对。
Swyx：那你们遇到了什么？
Lukas：啊，你需要拿到几百万个许可，而且
Vibhu：这挺有意思的，因为
Lukas：前置时间长得离谱
Vibhu：看起来咖啡馆是人们已经有点习惯的一件事，你可以去让机器人给你做杯咖啡，这里已经有了。
Lukas：但在旧金山卖东西，跟食物相关的，那是，那是好几个月的许可。所以，我们就问我们的 AI，应该——我们怎么才能以最快的方式做这个？它们说“对，真的，真的没办法。”
Vibhu：他们不是放宽了从你家卖食物的这些限制吗？所以如果是住宅，你可以开咖啡馆。
Swyx：我不知道。查一下。也许我们让 SF Cafe 来跟我们聊聊。
Lukas：也许吧。我确实——我觉得他们最近确实做了些放宽的事情，但我们其实开始——我们跟 AI 的这次对话是在那之前。所以也许现在更容易了，但我还是觉得在瑞典容易得多，这有点反直觉，因为你会觉得，哦，欧洲有所有这些法律，像所有这些规则，你在欧洲什么都做不了，因为官僚主义太多了，但结果发现，在旧金山，是四个月，在斯德哥尔摩是两周。
Swyx：这就对了。
Vibhu：那你，那你，那你觉得运营一个小市场跟咖啡馆会有什么不同？
Lukas：我觉得地点这一点非常有意思。我觉得，所以显然不奇怪的是 Claude 知道所有不同的、基本上美国体系的一般情况，比如你在美国必须经历的官僚程序。我觉得有意思的问题是，好吧，我们知道这些模型很大程度上是在英语数据上训练的、以英语为中心的，所以如果我们开始创建评估，或者，真实生活评估，展示它们能在美国创业，那这能迁移到其他国家吗？我们知道，它们是多语言的。它们能说瑞典语，没问题。但还有别的事情，比如它们知道你在瑞典必须拿到的某些具体许可的细节吗？
Vibhu：甚至就是文化，对吧？这里的人睡得挺早，但人们工作到很晚。有在咖啡馆工作这回事。就是文化差异。不过从另一个角度来说——因为你说过你本来会考虑在旧金山这里做。所以从评估的角度，运营咖啡馆跟市场相比是什么，你希望在那里看到什么？
Lukas：易腐品。
Swyx：易腐品也许是第一位的，处理，食物，食品安全。我希望那里一切顺利。但，那里有所有这些。而且也就是 N 等于二而不是 N 等于一，就像另一个地方去理解并且，收集更多数据。
Lukas：那个智能体在开业前两周就买了一堆他妈超多的番茄，现在它们全烂了。那
Vibhu：我觉得你应该会知道这个。所以对杂货店来说，这是最大的开支，对吧？最大的成本其实就是食物。
Lukas：浪费。
Vibhu：每个人都知道这个，然后“不，在我们开业之前，咱们多买点番茄。”
Swyx：有一些非常严肃的创业公司在真正帮忙，比如 The
Vibhu：优化所有这些
Swyx：Trader Joe's 和 Whole Foods。它们，优化，从配送中心到配送时间，确保你不会浪费所有这些。这其实非常难。
Vibhu：那些的问题是，你一旦错一次，就是巨大的成本。
Swyx：这就是为什么它是护城河，对吧？一旦它们被信任了，它们就搞定了。别碰它。
Lukas：也许它们就该雇，我不知道，那些公司中的一家。我们看到一个智能体，看到一个智能体用他的电脑注册了 Claude。
Vibhu：想用 AI，所以。
未来分支：模拟、真实生活、机器人与新商业评估
Swyx：然后，再问一个问题我们就收尾，就是，好吧，你有所有这些自动售货系列的东西。你有机器人系列的东西。也许还有一点，室内设计什么的。但还有另一个，分支，你在，有点在考虑，或者你想要反馈的，可能是你的下一阶段？
Lukas：我觉得，任何类型的生意都可以玩。我们也在想分支，但我们更多想的是，有模拟分支、真实生活分支，然后是机器人分支。但我觉得就，什么，垂直领域或者什么来说，有——我们——对。什么能讲出故事，呃，最好的。
Swyx：我注意到有些金融类的，其他人在做，你们没做，就是，股票交易什么的。呃，不太感兴趣。所以，好吧，我以前来自金融行业，我有一个非常强烈的观点，就是这些东西全都像行为艺术，因为，它不科学，就像你没法预测未来。你赢是因为完全在你控制之外的事情。而对你来说，你的东西其实，其实相当可控。全都在模型的能力范围内。
Lukas：尤其是，模拟。对真实世界的那些，是的，就像我们有两个地方，我们有咖啡馆，我们有商店。所以，也许你没法得出，统计上显著的，比如哪些模型在真实世界里盈利，基于这个。但你确实有所有这些，好吧，这些行为是否映射到，某种应该，被信任的东西。对
Swyx：定性的那个，定性的其实确实重要。因为，你其实不希望你的店在你没有明确提示的情况下随机关门，以及所有那些。行动号召。人们怎么帮你，给你钱？
招聘、合作与接下来会发生什么
Lukas：对，如果你对我们正在做的事情感到兴奋，我们，我们非常缺人。
Swyx：而且你们已经在跟，Anthropic、DeepMind、OpenAI、xAI 合作了。你们想要更多，还是够了？
Lukas：我的一个，我的一个朋友，现在，为我们工作，他的口头禅是“我们需要更多项目”，讽刺的是，因为我们一直有太多事要做。但，对，这是很长的说法，就像
Swyx：如果我运营，一个新兴实验室，就像
Lukas：联系我。
Swyx：对。好吧。酷。就这样。太棒了。非常感谢。
Lukas：很好玩。
Vibhu：谢谢。
本文由 AI 翻译。