Dylan Patel：深入讨论扩大 AI 算力的三大瓶颈
原文：Dylan Patel — Deep dive on the 3 big bottlenecks to scaling AI compute
访谈正文
Dylan Patel，SemiAnalysis 的创始人，深入探讨了扩展 AI 算力的 3 大瓶颈：逻辑、内存和电力。
并梳理了实验室、超大规模云厂商、晶圆代工厂和晶圆制造设备制造商的经济账。
从技术栈的每一个层级都学到了非常多。祝阅读愉快！
在 YouTube 上观看；在 Apple Podcasts 或 Spotify 上收听。
文字记录
为什么 H100 今天比 3 年前更值钱
Dwarkesh Patel：
好了，这一期是我的室友给我上半导体课。
Dylan Patel：
这也是对当前这一套设备的告别。
Dwarkesh Patel：
没错。你用完之后，我就想，“我不能再用了。我得离开这里。”
Dylan Patel：
Dwarkesh 可不吃剩饭。
Dwarkesh Patel：
Dylan 是 SemiAnalysis 的 CEO。Dylan，我有个火烧眉毛的问题要问你。如果把四大巨头——亚马逊、Meta、谷歌、微软——加起来，你最近发布的他们今年合计的预期资本支出是 6000 亿美元。按算力租赁的年费来算，这接近 50 吉瓦。显然，我们今年不会上线 50 吉瓦，所以想必这笔钱是在为未来几年陆续上线的算力买单。我们应该如何看待这笔资本支出上线的时间线？
对实验室也有类似的问题。OpenAI 刚刚宣布他们融资了 1100 亿美元，Anthropic 刚刚宣布他们融资了 300 亿美元。如果你看看他们今年即将上线的算力——这个数字应该由你来告诉我，但总量是不是又多了大约 4 吉瓦？今年 OpenAI 和 Anthropic 为维持其算力支出而将拥有的算力，其租用成本是每吉瓦 100 亿到 130 亿美元。仅这些单独的融资就足以覆盖他们今年的算力支出。而这甚至还不包括他们今年将赚取的收入。
所以请帮我理解：第一，大型科技公司的资本支出实际上以什么时间尺度上线？第二，如果一座 1 吉瓦数据中心的年费是 130 亿美元，那这些实验室融这么多钱是为了什么？
Dylan Patel：
当你谈到这些超大规模云厂商的资本支出在 6000 亿美元量级，再看整个供应链的其余部分，总数就到了一万亿美元量级。其中一部分是今年立即上线的算力：今年支付的芯片和资本支出的其他部分。但也有很多是前期铺垫性的资本支出。
当我们说今年在美国新增 20 吉瓦的增量产能时，其中一部分并不是今年花掉的。那笔资本支出的一部分实际上是在前一年花掉的。你看谷歌有 1800 亿美元，其中很大一块花在了 28 年和 29 年的涡轮机定金上。一块花在了 27 年的数据中心建设上。一块花在了购电协议、首付款，以及他们为未来更远时间所做的所有这些其他事情上，以便搭建起这种超高速的扩张。这适用于所有超大规模云厂商以及供应链中的其他参与者。
所以今年大约部署 20 吉瓦，其中很大一块是超大规模云厂商，也有一块不是。对所有这些公司来说，他们最大的客户是 Anthropic 和 OpenAI。Anthropic 和 OpenAI 现在大约在 2 到 2.5 吉瓦，而他们正试图扩展到远大于此的规模。
如果你看 Anthropic 过去几个月的表现，增加了 40 亿或 60 亿美元的收入，我们可以直接画一条直线，说他们每月还会再增加 60 亿美元的收入。有人会说这太悲观了，他们应该走得更快。这意味着他们在接下来十个月里将增加 600 亿美元的收入。按 Anthropic 最近一次被媒体报道的毛利率，这意味着他们为那 600 亿美元收入对应的推理，大约有 400 亿美元的算力支出。
那 400 亿美元的算力，按每吉瓦约 100 亿美元的租赁成本计算，意味着他们仅为了增长收入就需要增加 4 吉瓦的推理容量。这还是假设他们的研发训练集群保持不变。某种意义上，Anthropic 需要在今年年底前达到远超 5 吉瓦。对他们来说要达到那里会非常艰难，但有可能。
Dwarkesh Patel：
我能就此问个问题吗？如果 Anthropic 到今年年底无法达到 5 吉瓦，但它既需要这些来服务比预期更疯狂的收入——也许还会更多——又需要研发和训练来确保其模型在明年足够好：那这些容量将从哪里来？
Dylan Patel：
Dario 上你播客的时候，非常保守。他说，“我不会在算力上发疯，因为如果我的收入以不同的速度、在不同的时点出现拐点……我不想破产。我想确保我们在这轮扩展中是负责任的。”但实际上，与 OpenAI 相比，他搞砸了，OpenAI 的做法是，“咱们就把这些疯狂他妈的大单签了。”
到今年年底，OpenAI 能获得的算力将远超 Anthropic。Anthropic 要获得算力必须怎么做？他们必须去找质量更低的供应商，那些他们以前不会去找的。Anthropic 历史上拥有质量最好的供应商，比如谷歌和亚马逊，世界上最大的公司。现在微软正在整个供应链上扩张，而他们正在转向其他更新的参与者。
OpenAI 在接触众多参与者方面更为激进。是的，他们从微软、谷歌和亚马逊获得了大量容量，但他们也从 CoreWeave 和 Oracle 获得了大量容量。他们去找了一些随机的公司，或者人们会认为是随机的公司，比如 SoftBank Energy，这家公司一辈子没建过数据中心，但现在正在为 OpenAI 建数据中心。他们还去找了许多其他公司，比如 NScale，来获取容量。
Anthropic 面临这样一个困境，因为他们在算力上太保守了，因为他们不想发疯。某种意义上，去年下半年很多金融恐慌是因为，“OpenAI 签了所有这些协议，但他们没钱付……”好吧，Oracle 的股票要暴跌，CoreWeave 的股票要暴跌。所有这些公司的股票都暴跌了，信贷市场也疯了，因为人们认为最终买家付不起这笔钱。现在则变成，“哦等等，他们融了一大笔钱。好吧，没问题，他们付得起。”
Anthropic 则保守得多。他们当时是，“我们会签合同，但我们会讲原则。我们会故意低于我们认为可能做到的水平，保持保守，因为我们不想有破产的可能。”
Dwarkesh Patel：
我想理解的是，在紧要关头不得不去获取算力意味着什么？是不是说你必须去找新云？他们的算力更差吗？差在哪里？
你是不是必须向云厂商支付本来不必支付的毛利率，因为他们是最后一刻才进来的？是谁建了这些闲置容量，使得 Anthropic 和 OpenAI 能在最后一刻拿到？
如果 OpenAI 到 2027 年最终算力数字相近，那他们到底获得了什么具体优势？他们只是今年年底会以不同的吉瓦数收尾吗？如果是这样，Anthropic 和 OpenAI 到今年年底将各有多少吉瓦？
Dylan Patel：
要获取多余算力，是的，超大规模云厂商那里有容量。并非所有算力合同都是五年的长期协议。有 2023 年或 2024 年的算力，或者 2025 年的 H100，是以较短期限签的。OpenAI 的算力绝大多数是以五年期合同签的，但还有许多其他客户签的是一年、两年、三年或六个月的按需合同。
随着这些合同陆续到期，市场上最愿意付高价的参与者是谁？从这个意义上说，我们看到 H100 价格大幅拐头向上。人们愿意签每单位 2 美元以上的长期合同。我见过某些 AI 实验室——我在这里说得有点模糊是有原因的——以高达 2.40 美元的价格签了两到三年的 H100 合同。如果你想想利润率，建 Hopper 的成本是 1.40 美元，分摊到五年。现在，过了两年，你以 2.40 美元签两到三年的合同？那些利润率高得多。
现在你可以把所有这些其他供应商挤出去，无论是亚马逊有这些，还是 CoreWeave，还是 Together AI，还是 Nebius，或者不管是谁。这些新云公司总体上 Hopper 占比更高，因为他们在 Hopper 上更激进。他们也倾向于签更短期的合同，不是 CoreWeave，而是其他那些。所以如果我要 Hopper，外面是有一些容量的。
另外，虽然 Oracle 或 CoreWeave 的大部分产能都以 Blackwell 的形式签了长期协议，但本季度上线的任何东西都已经卖光了。在某些情况下，他们甚至没有达到他们承诺要卖出的所有数字，因为有一些数据中心延迟，不只是这两家，还有 Nebius、Microsoft、Amazon 和 Google。但有很多新云公司，以及一些超大规模云厂商，他们正在建设的产能还没有卖出去，或者他们原本打算分配给某些内部用途的产能——那些用途不一定是以超级 AGI 为重点的——现在他们可能会转而把它卖掉。
或者在 Anthropic 的情况下，他们不必直接拥有全部算力。Amazon 可以拥有算力并提供 Bedrock，或者 Google 可以拥有算力并提供 Vertex，或者 Microsoft 可以拥有算力并提供 Foundry，然后与 Anthropic 进行收入分成，或者反过来。
Dwarkesh Patel:
基本上，你是在说 Anthropic 不得不支付这 50% 的加价，要么是以收入分成的形式，要么是以最后一刻的现货算力的形式——如果他们早点买算力，本来不必支付这些。
Dylan Patel:
对，那里有一个权衡。但与此同时，有整整四个月，所有人都在对 OpenAI 说：“我们不会和你签协议。”这听起来很疯狂，但原因是“你没有钱”。现在所有人都在说：“OpenAI，我们一直相信你。我们可以签任何协议，因为你已经筹集了所有这些钱。”Anthropic 在这方面受到约束。算力的增量买家还没有那么多，因为 Anthropic 率先达到了能力层级，他们的收入正在飙升。
Dwarkesh Patel:
这很有意思。否则你可能会认为拥有最好的模型是一种极度贬值的资产，因为三个月后你就不再拥有最好的模型了。但它之所以重要，是因为你可以签下这些协议，提前锁定算力，并获得更好的价格。
也许这是一个显而易见的点。但至少直到最近，人们一直在强调 GPU 的折旧周期。空头们，Michael Burry 们或者不管是谁，都说：“看，人们说这些 GPU 能用四五年。也许是因为技术改进得太快，但实际上对这些 GPU 采用两年折旧周期是合理的，”这会增加某一年报告的摊销资本支出，并使建设所有这些云在财务上不那么有利可图。
但事实上你指出，折旧周期可能比五年还要长。如果我们还在使用 Hopper——尤其是如果 AI 真的起飞，到 2030 年我们在说“我们必须让七纳米晶圆厂开起来，我们必须回去重新启用 A100”——那么折旧周期实际上会非常长。我觉得这是你所说内容的一个有趣的财务含义。
Dylan Patel:
那里有几条线可以拉。一个是，GPU 的折旧会发生什么？我想我没有回答你之前的问题，那就是我认为 Anthropic 到年底能够达到大约五千兆瓦，也许略多一点，通过他们自己以及他们的产品通过 Bedrock、Vertex 或 Foundry 提供服务。我认为他们能够达到五到六千兆瓦，这远远高于他们最初的计划。OpenAI 大致相同，根据我们的数字实际上略高一点。
但不管怎样，GPU 的折旧周期。Michael Burry 说它是三年或更短。这大概就是他的论点。看这个问题有两个视角。从机械角度，有一个 TCO 模型，即 GPU 的总拥有成本，我们据此预测 GPU 的定价并构建集群的总成本。有很多成本：你的数据中心成本、你的网络成本、你的现场技术人员和在数据中心更换东西的人员。还有你的备件、你的实际芯片成本、你的服务器成本。所有这些各种成本被归总在一起。上面有一些折旧周期，上面有某些信贷成本。
你构建到，“嘿，如果折旧是五年，一个 H100 在五年内大规模部署的成本是每小时 1.40 美元。”如果你以每小时 2 美元签下这五年的协议，你的毛利率大约是 35%。略高于这个数。如果你以 1.90 美元签下，大约是 35%。然后你假设在第五年，GPU 从巴士上掉下来摔死了。
在某些情况下，人们提出的论点是，如果你没有签长期合同，因为每两年 NVIDIA 就会把性能提升到三倍或四倍，而价格只涨到两倍或上涨 50%……那么一块 H100 的价格……当然，也许 2024 年时它在市场上的价值是 2 美元、毛利率 35%，但到了 2026 年，当 Blackwell 处于超高量产、每年部署数百万块时，你实际上现在只值 1 美元/小时。而当 '27 年的 Rubin 处于超高量产时——尽管它今年就开始出货，但明年才是超高量产——每年数百万块芯片部署到云里，你的性能又提升 3 倍，价格又涨 50% 或 2 倍，那么 Hopper 就只值 0.70 美元/小时。所以 GPU 的价格会继续下降。这是一种视角。
另一个视角是，你从芯片中获得什么效用？如果你能建造无限的 Rubin 或无限的最新芯片，那么是的，情况就会完全如此。随着新芯片推出、每性能价格上升，Hopper 的价格会以现货或短期合同费率下降。但由于你在半导体和部署时间线上受到如此大的限制，实际上给这些芯片定价的不是我今天能买到的比较物，而是我今天能从这颗芯片中获取什么价值。
从这个意义上说，让我们以 GPT-5.4 为例。GPT-5.4 的运行成本比 GPT-4 便宜得多，而且活跃参数更少。从活跃参数的意义上说，它小得多，因为它是一个更稀疏的 MoE，而 GPT-4 是一个更粗糙的 MoE。在训练、RL、模型架构和数据质量方面也有如此多的其他进步，使 GPT-5.4 比 GPT-4 好得多。而且它的服务成本更低。当你看着一个 H100，它在每 GPU 上能服务的 5.4 词元比你在上面运行 GPT-4 时更多。所以它在生产更多词元，而且是一个更高质量的模型。
GPT-4 词元的最大 TAM 是多少？也许是几十亿美元，也许是几百亿美元。采用需要时间。对于 GPT-5.4，那个数字可能超过一千亿。但存在采用滞后、存在竞争，还有其他人都在不断改进。如果改进在这里停止，H100 的价值现在就取决于 GPT-5.4 能从它那里获取的价值，而不是 GPT-4 能从它那里获取的价值。这些实验室处于竞争环境中，所以他们的利润率不可能无限增长。你有一种相当有趣的动态，即一个 H100 今天的价值比三年前更高。
Dwarkesh Patel:
这太疯狂了。从把它向前推的角度来看也很有意思。如果我们真的开发出了 AGI 模型，如果我们真的有一个人类在服务器上……关于大脑能做多少 flops，这些都是非常含糊的数字。但按 flops 计算，一个 H100 估计能做 1e15，这就是一些人估计人脑所做的 flops 量。显然，在内存方面，人脑要多得多。一个 H100 是 80 GB，而大脑可能有 PB 级。
Dylan Patel:
哦，是的，你有 PB 级？给我说出一个 PB 的 1 和 0，兄弟。给我说一个字符串。
Dwarkesh Patel:
嗯，这实际上正是重点。
Dylan Patel:
不，我们只是拥有有史以来最好的稀疏注意力技术。
Dwarkesh Patel:
说真的。在被压缩的信息量方面，它可能是 PB 级。大脑是一个极度稀疏的 MoE。但不管怎样，想象一个人类知识工作者每年能产生六位数的价值。如果一个 H100 能产生接近这个的价值，如果我们真的把人类放在服务器上，那么一个 H100 的价值就是它能在几个月内收回自身成本。
所以当我采访 Dario 时，我想表达的观点不是我认为奇点还有两年就到，因此 Dario 迫切需要购买更多算力，尽管收入确实在那里、他需要购买更多算力。我想表达的观点是，鉴于 Dario 似乎在说的——鉴于他的声明，即我们距离一个天才数据中心还有两年，肯定不超过五年，而一个天才数据中心应该赚取数万亿又数万亿美元的收入——他为什么一直发表这些关于在算力上更保守的声明，或者如你所说，在算力上不如 OpenAI 激进，这根本说不通。
我想那个观点被忽略了，因为然后人们在嘲笑我，说：“哦，这个播客主试图说服这个数千亿美元公司的 CEO 去 YOLO，兄弟。”我只是想说，在内部，他的声明是不一致的。不管怎样，把它理清楚是好事。
Dylan Patel:
我想回到早先那个观点：如果模型如此强大，GPU的价值会随时间上升。目前只有OpenAI和Anthropic持这种看法。但随着我们进一步向前发展，所有人都会看到每块GPU的价值飞涨。所以从这个意义上说，你现在就应该承诺投入算力。
有趣的是，以Anthropic的风格，有个梗说他们有承诺问题，有点多角恋。不是说Dario，但这确实是个梗。
Dwarkesh Patel:
这就解释了一切。顺便说，有个有趣的经济效应叫Alchian-Allen，意思是如果你提高不同商品的固定成本，其中一种质量更高、一种质量更低，那么在边际上会促使人们选择质量更高的商品。
举个具体例子，假设更好吃的苹果要两美元，差一点的苹果要一美元。现在假设你对它们征收进口关税。那么现在好苹果和中等苹果的价格就变成了3美元对2美元。
Dylan Patel:
那是因为两者都涨了一美元，还是应该按50%的涨幅来算？
Dwarkesh Patel:
不，是因为两者都涨了1美元。整个效应在于，如果有一个固定成本同时施加于两者，那么它们之间的价格差、价格比就会改变。之前，更贵的那种是2倍贵。现在只是1.5倍贵了。
所以我想，如果把这个应用到AI上，那是否意味着，如果GPU会变得更贵，算力价格就会有一个固定成本的增加。结果就是，这会推动人们愿意为稍微好一点的模型支付更高的利润率。因为算下来是，反正我都要为算力花这么多钱了，那我不如稍微多花一点，确保用的是最好的模型，而不是稍微差一点的模型。
Dylan Patel:
所以Hopper从2美元涨到了3美元。如果一块Hopper能产出100万词元的Opus，也能产出200万词元的Sonnet，那么Opus和Sonnet之间的价格差就缩小了，因为GPU的价格从2美元涨到了3美元，涨了1美元。
有意思。我觉得这非常合理。我们今天看到的所有用量都在最好的模型上，所有收入也都在最好的模型上。在一个算力受限的世界里，会发生两件事。第一，那些没有承诺问题、签了五年算力合同的公司，已经锁定了巨大的利润率优势。他们以两三年前或五年前成交的价格锁定了五年的算力。
而如果你那份五年合同已经执行了三年，别人的两年或三年合同到期了，现在他们试图按现代定价购买，而定价是按模型价值来定的，那价格就会高得多。所以早早承诺的人总体上利润率更好。市场中处于长期合同的比例，远大于处于短期合同、可以作为最后一刻增加的弹性容量的比例。
同时，利润去了哪里？因为模型变得更有价值，云厂商能在多大程度上灵活定价？如果你看CoreWeave，他们目前的平均合同期限超过三年。他们98%以上的算力合同都超过三年。他们最终陷入这样一个困境：实际上无法灵活定价。但每年他们新增的容量都远超之前拥有的容量。
仅今年一年，Meta新增的容量就相当于他们在2022年为服务WhatsApp、Instagram和Facebook以及做AI所用的全部算力和数据中心的总和。他们今年一年就新增了这么多。
同样地，你说到Meta这么做，CoreWeave、Google和Amazon，所有这些公司每年都在增加惊人的算力。这些新算力会按新价格成交。从某种意义上说，是的，只要我们还处于起飞阶段，你就已经锁定了。“哦，OpenAI去年从600兆瓦增加到2吉瓦，今年从2吉瓦增加到6吉瓦以上，明年从6吉瓦增加到12吉瓦。”增量新增的算力才是所有成本所在，而不是之前的长期合同。
那么谁掌握着收取利润的牌？现在云厂商、新云或超大规模厂商可以收取利润。他们在一定程度上可以，但当你向上游追溯到谁拥有所有内存和逻辑产能的准入时，大部分是Nvidia。他们签了很多长期合同。他们今天有900亿美元的长期合同，而且他们今天正在与内存供应商谈判三年期协议。
还有Amazon和Google通过Broadcom、Amazon直接，以及AMD。这些公司掌握着所有牌，因为他们锁定了产能。台积电没有涨价，但内存供应商在一定程度上大幅涨价。他们还会再涨两倍或三倍，但同时他们也在签这些长期协议。
谁能够累积所有利润，可能是云厂商，可能是芯片厂商，也可能是内存厂商，直到台积电或ASML站出来说：“不，我们要收更多钱。”但与此同时，模型厂商能收取疯狂的利润率吗？至少今年，我们会看到模型厂商的利润率大幅上升。因为他们产能如此受限，他们不得不摧毁需求。Anthropic不可能在不摧毁需求的情况下继续保持当前的速度。
Nvidia早早锁定了台积电产能；Google正受到挤压
Dwarkesh Patel 1:20:33
我们来聊聊逻辑和内存。具体来说，Nvidia 是如何能够锁定这两者中如此大的份额的？根据你的数字，我认为到27年，Nvidia 将拥有超过70%的 N3 晶圆产能，或者差不多那个范围。我忘了 SK Hynix 和 Samsung 等在内存方面的数字是多少了。
想想新云业务如何运作，以及Nvidia如何与之合作，或者想想RL环境业务如何运作，以及Anthropic如何与之合作。在这两种情况下，Nvidia都在刻意试图分裂互补行业，以确保自己拥有尽可能多的杠杆。他们把产能分配给随机的各种新云，以确保没有一个人拥有全部算力。
同样地，Anthropic或OpenAI在与数据提供商合作时，他们会说：“不，我们要培育一个庞大的这类产业，这样我们就不会被锁定在任何一个数据环境的供应商上。”
我很好奇，在3纳米工艺上——那将是Trainium 3，那将是TPU v7，可能还有其他加速器——为什么台积电就把它全部让给Nvidia，而不是试图分裂市场？
Dylan Patel:
这里有几个点。在3纳米上，如果我们回到去年，3纳米的绝大多数产能是Apple的。Apple正在被转移到2纳米。内存价格在上涨，所以Apple的产量可能会下降。随着内存价格上涨，他们要么削减利润率，要么转移。会有一些时间滞后，因为他们有长期合同，但Apple可能会减少需求或更快转向2纳米，而2纳米目前只能用于移动芯片。未来，AI芯片会转移到那里。所以Apple有这种情况。
Apple也在与第三方厂商洽谈，因为他们有点被台积电挤出来了。台积电在高性能计算——HPC、AI芯片等——上的利润率高于移动端，因为他们在HPC上的优势比在移动端更大。
当你审视台积电在这里的运营盘算时，他们实际上给做CPU的公司提供了非常好的产能分配。想想Amazon有Trainium和Graviton，两者都在3纳米上，Graviton是他们的CPU，Trainium是他们的AI芯片。台积电更愿意把产能给Graviton而不是Trainium，因为他们认为CPU业务更稳定、长期增长更好。
作为一家保守、不想过度追逐增长周期的公司，你实际上会先分配给更稳定、增长率更低的市场，然后再把所有增量产能分配给高增长市场。总体情况就是这样。AMD也一样。他们在CPU上获得的产能分配，台积电比GPU更感兴趣。Amazon同样如此。
Nvidia有点独特，因为是的，他们有CPU，他们做交换机，他们做网络、NVLink、InfiniBand、以太网、网卡。总的来说，随着Rubin的发布和该系列所有芯片的推出，这些东西到今年年底大部分都会在3纳米上，其中GPU是最重要的。然而Nvidia获得了大部分供应。
部分原因是，你看市场，台积电和其他公司以多种方式预测市场需求，但这也是市场信号。市场发出了信号：“嘿，我们明年需要这么多产能。我们需要这么多。我们会签不可取消、不可退货的订单。我们甚至可能付定金。”Nvidia只是比Google或Amazon早得多地这么做了。在某些情况下，Google和Amazon遇到了绊脚石。其中一款芯片稍微延迟了几个季度。Trainium和这类事情发生了。
在那种情况下，出现了一种巨大的声音：“好吧，这些人在拖延，但Nvidia想要更多、更多、更多、更多。我们正在和供应链的其他环节核实，产能够不够？”他们跑去找所有的PCB供应商，问：“PCB够不够？”胜宏科技是Nvidia最大的PCB供应商之一，而且他们是一家中国公司。所有PCB都来自中国，或者说很多都来自中国。他们会说：“你们的PCB产能够吗？太好了。嘿，内存供应商，谁手里有所有的内存产能？好，Nvidia有。太好了。”
当你审视谁被AGI“洗脑”得足够深，愿意在很长的时间线上以那些没被AGI洗脑的人看来荒谬的水平去购买算力——但尽管如此，他们愿意支付相当不错的利润率并现在就签约，因为他们认为未来这个比率会被扭曲——半导体供应链上也会发生同样的事情。我不认为Nvidia被AGI洗脑得那么彻底。Jensen不相信软件会完全自动化以及所有这些事情。
Dwarkesh Patel：
是加速计算，不是AI芯片，对吧？
Dylan Patel：
就是AI芯片。
Dwarkesh Patel：
但那是他自己的叫法，对吧？
Dylan Patel：
对。我认为那是一个更宽泛的术语，AI包含在其中，但也包括物理建模和仿真。
Dwarkesh Patel：
但这就像他并没有拥抱主要的用例。
Dylan Patel：
我认为他正在拥抱它，但我就是不认为他像 Dario 或 Sam 那样是 AGI 信徒。但他仍然比去年第3季度的 Google 或去年第3季度的 Amazon 要 AGI 信徒得多得多，而且他看到了多得多的需求。
原因很简单。你可以看到所有的数据中心建设。他就像：“好吧，我想要拥有这个市场份额。”我们追踪了所有的数据中心，有很多数据中心可能是这个也可能是那个。在某种程度上，Google和Amazon，尤其是Google，尽管他们的TPU对他们部署来说就是更好，他们还是不得不部署一大堆GPU，因为他们的TPU不够填满他们的数据中心。他们拿不到足够的晶圆制造产能。
Dwarkesh Patel：
关于这一点我有个问题。Google卖了一百万，是v7吗？
Dylan Patel：
是的。
Dwarkesh Patel：
——把Ironwood卖给了Anthropic，而你说现在、今年或明年，我猜从现在起永远，最大的瓶颈将是逻辑和内存，也就是制造这些芯片所需的东西。Google有DeepMind，第三家重要的AI实验室。如果这是最大的瓶颈，他们为什么要卖掉它，而不是直接给DeepMind？
Dylan Patel：
这又是一个……DeepMind的人说：“这太疯狂了。我们为什么要这么做？”但Google Cloud的人和Google高管看到了不同的思路。
你我都知道 Anthropic 的计算团队。两个主要人物都来自 Google。他们看到了这种错位，谈判达成了一笔交易，并且能够在 Google 意识到之前获得这些计算资源。事件链条，至少从我们发现的数据来看，是在第3季度初，在六周的时间里，我们看到 TPU 的容量大幅上升。在那六周里它上升了数倍。
有多次请求。Google甚至不得不去找台积电，向他们解释为什么需要这次产能增加，因为太突然了。产能增加中的很大一部分是为了卖给Anthropic。因为Anthropic比Google更早看到了这一点。
然后Google有了Nano Banana和Gemini 3，这让他们的用户指标飙升。然后Google的领导层就像：“哦。”然后他们开始发表声明说我们必须每六个月将算力翻倍，或者不管确切的数字是多少。
他们真的清醒了很多，然后他们去找台积电说：“我们想要更多。我们想要更多。”台积电回复：“抱歉各位，我们卖光了。2026年我们也许能多给5-10%，但实际上我们要着手2027年了。”
在我看来，这些实验室之间存在这种信息不对称。我不完全确定。这是我自己从看到供应链中所有关于晶圆订单的数据，以及Anthropic和Fluidstack签下的数据中心的情况中编织出来的叙事。
在我看来很清楚，Google 搞砸了。你可以从 Google 的 Gemini ARR 看出这一点。他们在第1季度到第3季度几乎一无所有——在第3季度，当他们开始出现拐点时，有了一点点。但在第4季度，他们按 ARR 计算达到了 50 亿美元的收入。很明显，Google 最初并没有看到收入飙升。从某种意义上说，Anthropic 在 ARR 爆发之前有一点承诺问题，尽管他们拥有多得多的信息不对称，并且看到了即将到来的东西。Google 会比 Anthropic 更保守，而且 Google 的 ARR 甚至更少。所以他们就是不愿意这么做，然后他们意识到他们应该这么做。
从那以后，Google在他们所做的事情上被AGI洗脑得离谱。他们买了一家能源公司。他们在为涡轮机付定金。他们在购买占比高得离谱的已通电土地。他们去找公用事业公司谈判长期协议。他们在数据中心和电力方面非常激进地做这些事。我认为Google在去年年底醒了过来，但花了一些时间。
Dwarkesh Patel：
你觉得到明年年底Google会有多少吉瓦？
Dylan Patel：
买我的数据。
Dwarkesh Patel：
你对这类信息是收费的。
Dylan Patel：
是的，是的。
到 2030 年，ASML 将成为 AI 计算扩展的第1大制约因素
我感觉每年阻碍我们扩展AI算力的瓶颈都在变。几年前是CoWoS。去年是电力。你会告诉我今年的瓶颈是什么。
但我想理解五年后，什么会制约我们部署奇点？
Dylan Patel：
最大的瓶颈是算力。为此，前置时间最长的供应链不是电力或数据中心。实际上就是半导体供应链本身。它从电力和数据中心作为主要瓶颈又转回了芯片。
在芯片供应链中，有若干不同的瓶颈。有内存、来自台积电的逻辑晶圆，以及晶圆厂本身。建造晶圆厂需要两到三年，而数据中心不到一年。我们见过Amazon最快八个月建成数据中心。前置时间差异很大，因为建造真正制造芯片的晶圆厂非常复杂。设备的前置时间也非常长。
随着我们扩展，瓶颈根据供应链当前做不到什么而转移。曾经是CoWoS、电力、数据中心，但那些都是前置时间较短的项目。CoWoS是一个简单得多的芯片封装工艺。电力和数据中心最终比芯片的实际制造简单得多。一直存在一些产能从手机或PC向数据中心芯片的滑动，这在一定程度上是可替代的。
而CoWoS、电力和数据中心作为供应链必须从头开始。但现在手机和PC行业——曾经是半导体行业的大部分——已经没有更多产能可以转移到AI了。Nvidia现在是台积电和SK海力士（最大的内存制造商）最大的客户。把资源从普通人的PC和智能手机转移走、再更多地转向AI芯片，这已经有点不可能了。所以现在的问题是，我们如何扩展AI芯片的生产？这就是我们走向2030年时最大的瓶颈。
Dwarkesh Patel：
如果存在一个绝对的吉瓦上限，仅仅基于“我们无法生产超过这么多台EUV机器”就能推算到2030年，那会非常有意思。
Dylan Patel：
要进一步扩展算力，今年和明年有不同的瓶颈，但最终到2028年或2029年，瓶颈会落到供应链的最低一级，也就是ASML。ASML制造世界上最复杂的机器：EUV工具。这些的售价是3-4亿美元。目前，他们大约能造70台。明年，他们会达到80台。即使在非常激进的供应链扩张下，到本十年末他们也只会达到略高于100台。
这意味着什么？到本十年末他们能造一百台这样的工具，现在则是70台。这实际上如何转化为AI算力？我们看到来自Sam Altman和供应链上许多其他人的所有这些数字：吉瓦、吉瓦、吉瓦。我们在增加多少吉瓦？我们看到Elon说在太空建一百吉瓦。
Dwarkesh Patel：
一年。
Dylan Patel：
一年。这些数字中任何一个的问题，或者说对这些数字的挑战，实际上不是电力或数据中心。我们可以深入讨论那个，但问题是制造芯片。
拿1吉瓦的Nvidia Rubin芯片来说。Rubin是在GTC上发布的，我相信就是这期播客上线的那一周。要做出1吉瓦数据中心容量所需的Nvidia最新芯片——他们将在今年年底发布——你需要几种不同的晶圆技术。你需要大约55,000片3纳米晶圆。你需要大约6,000片5纳米晶圆，然后你还需要大约170,000片DRAM存储晶圆。
在这三个不同的类别中，每一类所需的EUV量都不同。当你制造一片晶圆时，有成千上万道工艺步骤，你在上面沉积材料、再去除材料。但那个关键步骤——至少在先进逻辑中占芯片成本的30%——实际上并不往晶圆上放任何东西。你拿起晶圆，涂上光刻胶，这是一种在曝光于光下时会发生化学变化的化学品。然后你把它送进EUV设备，设备以特定方式向它照射光线。它对其进行图案化。有一个叫做掩模的东西，实际上就是设计的一块镂空模板。
当你观察一片领先的3纳米晶圆时，它大约有70个掩模，也就是70层左右的光刻，但其中20层是最先进的EUV。如果你为1吉瓦需要55,000片晶圆，而每片晶圆要做20次EUV曝光，你可以自己算。那就是1吉瓦需要110万次EUV曝光。这很简单。一旦你把其余的东西加上去，最终会达到200万次，涵盖5纳米和所有存储。1吉瓦大约需要200万次EUV曝光。
这些设备非常复杂。当你想象它在一片晶圆上做什么时，它是拿起晶圆，扫描并步进。它在整片晶圆上要做几十次。当你说有多少次EUV曝光时，那是指整片晶圆以一定速率被曝光。
一台EUV设备大约每小时能处理75片晶圆，而且设备的开机率大约90%。最终，你需要大约3.5台EUV设备来完成1吉瓦所需的200万次EUV晶圆曝光。所以3.5台EUV设备就能满足1吉瓦。
想想这些数字挺有意思的。1吉瓦要花多少钱？大约500亿美元。而3.5台EUV设备要多少钱？12亿美元。这实际上是个相当低的数字，想想挺有意思。数据中心有500亿美元的经济资本支出，而在此基础上构建的词元价值还要大得多。可能是1000亿美元的AI价值进入供应链，却被这价值12亿美元的设备卡住，而这设备的供应链根本无法快速扩张。
Dwarkesh Patel：
你最近写了一篇文章，说过去三年里，台积电做了1000亿美元的资本支出。所以是300亿/300亿/400亿美元。其中一小部分被英伟达用于3纳米，或者之前是4纳米，用于它的芯片。它上个季度的盈利是多少？是400亿美元。所以400亿乘以四就是1600亿美元。英伟达仅凭1000亿美元资本支出中的一小部分——这些支出将在许多年里折旧，而不仅仅是这一年——就在一年内转化成了1600亿美元。
当你沿着供应链往下走到ASML时，情况就更加激烈了，它用价值10亿美元的机器来生产1吉瓦。当然，那些机器能用一年以上，所以它做的还不止这些。
现在我想了解，到2030年会有多少这样的机器，如果你不仅包括当年售出的，还包括前几年累积起来的？这意味着什么？Sam Altman说他想在2030年做到每周1吉瓦。当你把这些数字加起来，这与那个目标兼容吗？
Dylan Patel：
如果你想想，那是完全兼容的。台积电和整个生态系统已经有大约250到300台EUV设备。然后今年再加70台，明年80台，到2030年当年新增的数量增长到100台。到本十年末你就有700台EUV设备。700台EUV设备，按每吉瓦3.5台计算——假设它们全部分配给AI，而实际上并没有——能让你得到200吉瓦的AI芯片供数据中心部署。
Sam想要每年52吉瓦。那他只占25%的份额。显然，有一部分份额给了手机和PC，假设我们还能被允许拥有消费品，而且不会被价格挤出市场。但大致上，他说的是占全部制造芯片的25%市场份额。考虑到仅今年一年，我认为他就能获得已部署的Blackwell GPU的25%，这非常合理。这没那么疯狂。
Dwarkesh Patel：
ASML是什么时候开始出货EUV设备的，7纳米开始的时候？我不确定那具体是什么时候。你说到2030年，他们将使用最初在2020年出货的机器。所以十年时间，你在这个世界上最技术先进的行业里使用同一台最重要的机器？我觉得这很令人惊讶。
Dylan Patel：
ASML出货EUV设备到现在大约有十年了，但它大约在2020年才进入大规模量产。设备不是一样的。那时候，设备的吞吐量还要低得多。它们有各种规格，叫做套刻。我刚才提到你在把一层层堆叠起来。你会做一些EUV，你会做一堆不同的工艺步骤——沉积材料、蚀刻材料、清洗晶圆——在你做下一层EUV之前要做几十个这样的步骤。
有一个规格叫套刻，意思是：你做完了所有这些工作，在晶圆上画了这些线，现在我想画这些点。假设我想画这些点，把金属线连接到孔上，然后上一层是另一组垂直方向的线，所以现在你在连接相互垂直的导线。你必须能够把它们对准叠在一起。这就叫套刻。
套刻是ASML快速改进的一项规格。晶圆吞吐量也被ASML快速改进。设备的价格上涨了，但没有设备能力的提升那么大。最初，EUV设备是1.5亿美元。随着时间推移，到2028年我看它们现在是4亿美元。但设备的能力也翻了一倍多，尤其是在吞吐量和套刻精度方面，也就是在中间做了大量步骤之后，仍能准确地将后续曝光层对准叠在一起的能力。
ASML进步得非常快。还值得注意的是，ASML可能是世界上最慷慨的公司之一。他们拥有这个关键支点。没有人有能与之竞争的东西。也许中国到本十年末会有一些EUV，但除此之外没有人有任何接近EUV的东西，然而他们并没有疯狂提价和抬高利润率。你去问问我们经常交谈的其他一些人，比如Leopold，他们会说：“让价格涨上去吧。”因为他们可以。利润空间在那里。你可以拿走利润。Nvidia拿走利润。存储厂商也在拿走利润。但ASML从未把价格提高到超过他们提升设备能力的幅度。
从某种意义上说，他们一直为客户提供净收益。并不是说设备停滞不前，只是这些设备是旧的。是的，你可以对它们做一些升级，新设备也在到来。为简单起见，我们在这期播客中忽略每台设备在套刻或吞吐量方面的进步。
Dwarkesh Patel：
你说我们今年生产60台这样的机器，然后接下来几年是70台、80台。如果ASML决定把资本支出翻倍或三倍，会发生什么？是什么阻止他们在2030年生产超过100台？为什么你如此确信，即使五年后，你也能相对确定他们的产量会是多少？
Dylan Patel：
我认为这里有几个因素。ASML没有决定就放手一搏，让我们尽快扩张产能。总的来说，半导体供应链也没有。它经历过繁荣和萧条，我们可以再谈谈这个。基本上一些参与者最近醒过来了，但总的来说，没有人真正看到每年200吉瓦AI芯片的需求，或者半导体供应链每年数万亿美元的支出。他们没有被AI洗脑。他们没有被AGI洗脑。
Dwarkesh Patel：
我们今年就要达到1万亿美元了。
Dylan Patel：
是的，我理解你，但我是说供应链里没有人真正理解这一点。我们不断被告知我们的数字太高了，然后当它们被证明是对的时，他们又说：“哦，是的，但你明年的数字还是太高了。”
ASML的设备有四个主要部件。它有光源，由圣地亚哥的Cymer制造。它有掩模台，在康涅狄格州威尔明顿制造。它有晶圆台。它有光学系统，透镜之类的。最后两个在欧洲制造。
当你审视这四个部件中的每一个时，它们都是极其复杂的供应链，而且（A）它们并没有尝试大规模扩张，以及（B）当它们尝试扩张时，时间滞后相当长。再说一次，这是人类制造的最复杂的机器，没有例外，在任何量产规模上都是如此。
让我们具体谈谈光源。光源做什么？它滴下这些锡液滴。然后用激光完美地连续击中它三次。第一次击中这个锡液滴，它膨胀开来。再次击中它，它膨胀成这个完美的形状，然后以超高功率轰击它。锡液滴被激发到足以释放EUV光，13.5纳米，然后它进入这个收集所有光线并将其导入透镜组的东西里。
然后你有透镜组，就是Carl Zeiss，如你所说，还有其他一些人，但Zeiss是其中最重要的部分。他们也没有尝试扩大产能，因为他们没有看到……他们就像，“我们因为AI增长了很多。我们从60增长到100。”就像，“不，不，不。我们需要到几百，但没关系。无所谓。”
每个这样的设备，我想，实际上有18个这样的透镜。它们是多层反射镜，如果我没记错的话，是钼和钌的完美层，多层堆叠在一起，然后光线完美地从上面反射。当我们想到透镜时，它是有形状的，它聚焦光线。这就像一个同时也是透镜的镜子，所以相当复杂。这些超薄沉积层中的任何缺陷都会搞砸它。任何曲率问题都会搞砸它。
扩大生产有很多挑战。从这个意义上说，它相当手工化，因为你一年不是制造数万个，你是制造数百个，你是制造数千个。一年60台设备，每台18个透镜，设备数量仍在数百台的量级，而这些透镜和投影光学系统的数量大约在一千左右。
然后你前进到掩模台，这也是非常疯狂的东西。这个东西以，我想说，9个G的加速度移动。它会以9个G移动，因为当你在晶圆上步进时，设备会……晶圆台是互补的。它是晶圆部分。你把这两个东西对齐。你让所有光线通过聚焦的透镜，这里是掩模，这里是晶圆。掩模向一个方向移动，晶圆向另一个方向移动，同时扫描晶圆上26x33毫米的区域，然后它停下来。它移到晶圆的另一部分再做一次。它在几秒钟内完成这些。每一个都以9个G的加速度向相反方向移动。
这些东西中的每一个都是化学、制造、机械工程和光学工程的奇迹和惊叹，因为你必须对齐所有这些东西并确保它们完美。所有这些东西都有疯狂数量的计量，因为你必须完美地测试一切。如果任何东西出了问题，良率就归零，因为这是一个如此精细调校的系统。
顺便说一下，它太大了，你在荷兰埃因霍温的工厂里建造它，然后他们把它拆解，用许多飞机运到客户现场，然后你在那里重新组装并再次测试。这个过程需要很多很多个月。
供应链中有太多步骤，无论是Zeiss制造他们的透镜和投影光学系统，还是Cymer——ASML旗下的公司——制造EUV光源。每一个都有自己的复杂供应链。ASML曾评论说他们的供应链中有超过一万人。
Dwarkesh Patel:
比如个体供应商？
Dylan Patel:
是的。可能不是直接的。可能是通过Zeiss有那么多供应商，XYZ公司有那么多供应商。
如果你只是想想，你谈论的是两个物理移动的物体，大小如晶圆，它必须精确到个位数纳米甚至更小的水平，因为整个系统，套刻，层与层之间的套刻变化，必须在3纳米的量级。如果套刻是3纳米，那意味着每个单独部件，其物理运动的精度必须比这更小。在大多数情况下必须是亚一纳米，因为这些误差会累积。没有办法打个响指就能增加产量。
像电力这样简单的事情。美国把电力增长率从0%提高到2%，即便中国已经达到30%，对美国来说都如此困难。而那是一个真正简单的供应链，里面很少有人制造困难的东西。美国可能有10万名电工和从事电力供应链工作的人，或者更多？
当你看看ASML，他们雇佣的人如此之少。Carl Zeiss可能雇佣不到一千人从事这个工作，而所有这些人都是超级超级专业化的。你不能打个响指就随便培训人来干这个。你不能只是让你的整个供应链被动员起来。
Nvidia不得不做很多工作才能让整个供应链甚至交付他们今年将要制造的产能。当你去和Anthropic谈时，他们说，“我们缺TPU，我们缺训练算力，我们缺GPU。”当你去和OpenAI谈时，他们说，“我们缺这些东西。”
OpenAI和Anthropic知道他们需要X。Nvidia没有那么被AGI洗脑。他们在建X - 1。你沿着供应链往下走，每个人都在做X - 1。在某些情况下，他们在做X ÷ 2，因为他们没有被AGI洗脑。
你最终得到这个鞭子反应的时间滞后。被AGI洗脑的程度和增加产量的意愿需要太长时间。一旦他们终于明白需要快速增加产量……他们以为他们明白了。他们以为AI意味着我们必须从60到100，除了设备变得更好更快，光源从500瓦到1,000瓦更高功率，以及供应链所有其他方面在技术上进步和增加产量。他们以为他们实际上在大量增加产量。
但如果你把数字串起来看……Elon想要什么？他想要到2028年或2029年在太空中有100吉瓦每年。Sam Altman想要到这个十年末每年52吉瓦。Anthropic可能需要同样的，Google需要那个。你走遍整个供应链，就像，等等，不，供应链不可能建造足够的产能让每个人在算力方面都得到他们想要的。
我们不能直接用台积电的旧晶圆厂吗？
Dwarkesh Patel:
我觉得在过去几年的数据中心供应链中，人们一直在提出这样的论点：“我们被这个特定的东西卡住了，因此AI算力不能扩展到超过X。”但正如你所写的，如果电网是瓶颈，那我们就在现场做表后供电，我们用燃气轮机，等等。如果那不行，人们还有所有这些其他替代方案可以依靠。
我想问我们是否可以想象半导体供应链中发生类似的事情。如果EUV成为瓶颈，如果我们回到7纳米，做中国目前正在做的事情，用DUV机器通过多重曝光生产7纳米芯片，会怎样？如果你看像A100这样的7纳米芯片，从A100到B100或B200显然有很多进步。
这些进步中有多少只是数值格式？如果你从A100到B100保持FP16不变。B100是略高于一千万亿次浮点运算/秒，而A100大约是300万亿次浮点运算/秒。
Dylan Patel:
是的，312。
Dwarkesh Patel:
保持数值格式不变，你从A100到B100有3倍的提升。其中一些是制程改进，一些只是加速器设计的改进，我们将来可以再次复制。
从7纳米到4纳米的制程改进似乎实际上效果非常小。我不记得具体数字，但假设每月有15万片3纳米晶圆，最终2纳米也有类似数量。但7纳米也有类似数量。
如果你有所有这些旧晶圆，而且可能因为每晶圆面积的比特数少了50%左右而打个五折，如果这能再给你五十或一百吉瓦，直接上7纳米晶圆似乎也没那么糟。告诉我为什么那是天真的。
Dylan Patel:
我们可能会疯狂到这种情况发生，因为我们只是需要增量算力，而算力值得这些芯片更高的成本和功耗。但在很大程度上这也不太可能，因为其中一些比较并不公平。
例如，从A100的312 teraflops，到Blackwell的1,000或2,000 FP16，再到Rubin的5,000左右FP16……这不是一个公平的比较，因为这些芯片的设计目标差异极大。A100上，Nvidia针对FP16和BF16数值格式做了优化。到了Hopper，他们不那么在意这个了；他们在意的是FP8。到了Rubin，他们不太在意FP16和BF16，主要在意的是FP4和FP6。数值格式才是他们设计芯片的核心目标。
假设我们在7 nm上做一款新的芯片设计，针对当今的数值格式做优化。性能差距仍然会远大于你提到的FLOPS差距。人们常常喜欢把问题简化成每瓦FLOPS或每美元FLOPS，但那不是公平的比较。
看看Kimi K2.5和DeepSeek。看这两个模型在Hopper和Blackwell上、在高度优化的软件下的表现，你会得到天差地别的性能。其中大部分不能归因于FLOPS或数值格式，因为那些模型实际上是八位的。所以并不是说Blackwell和Hopper都针对八位做了优化，而Blackwell在那里并没有真正利用它的四位。性能鸿沟实际上要大得多。
当然，缩小制程工艺、把晶体管做小，让每颗芯片有X数量的FLOPS，这是一回事，但你忘了那个关键的制约因素。这些模型不是跑在单颗芯片上的。它们一次要跑在数百颗芯片上。看看DeepSeek的生产部署，那已经是一年多以前的事了，他们当时跑在160块GPU上。那就是他们承载生产流量的规模。他们把模型拆分到160块GPU上。
每当你跨越一颗芯片到另一颗芯片的边界，就会有能效损失。你必须通过高速电SerDes传输，这带来延迟成本和功耗成本。所有这些动态因素都会造成损害。随着你不断缩小制程节点，你在单颗芯片内增加了算力。现在芯片内数据移动至少是每秒数十TB，甚至每秒数百TB。而芯片之间，你是在每秒1TB的量级。
然后还有物理上非常接近的芯片之间的数据移动。你只能把这么多芯片在物理上放得足够近，所以你必须把芯片放到不同的机架里。机架之间的数据移动是每秒数百Gbps的量级，400 Gbps或800 Gbps，也就是大约每秒100 GB。
所以你有了这个巨大的阶梯：片上通信极快，机架内慢一个数量级，机架外再慢一个数量级。当你突破芯片的边界，你最终就会遭遇性能损失。
我解释这些的原因是，当你比较Hopper和Blackwell时，即使两者都用一整个机架的芯片，Hopper也明显慢得多。在每个域内你为任务所调用的性能——这些处理单元之间每秒数十TB的通信，对比这些处理单元之间每秒数TB的通信——要高得多得多，因此性能也高得多。当你看DeepSeek和Kimi K2.5每秒100 tokens的推理时，Hopper和Blackwell之间的性能差距在20倍量级。
不是FLOPS性能差距所显示的2倍或3倍，尽管它们在同一制程节点上。差异就在于网络技术以及他们各自投入的方向。你可以把其中一些往回移植，但当你看他们在3 nm上用Rubin做的事，其中有些东西根本不可能一路回退到A100上实现，即使你为7 nm做一款新芯片。
有些架构改进你可以移植，有些则不能。性能差距不会仅仅是FLOPS的差距。从某种意义上说，它是累积的：单芯片FLOPS的差距、芯片间网络速度的差距、单芯片上有多少FLOPS对比整个系统有多少FLOPS、单芯片内存带宽对比整个系统内存带宽。所有这些都会叠加。
Dwarkesh Patel:
我能问你一个非常天真的问题吗？B200现在在单颗芯片上有两个die，这样你就能获得那种带宽，而不必经过NVLink或InfiniBand。明年，Rubin Ultra将在一颗芯片上有四个die。是什么阻止我们用更老的……你在一颗芯片上能放多少个die，同时还能获得每秒数十TB的带宽？
Dylan Patel:
即使在Blackwell内部，片上通信和跨芯片通信时性能也有差异。这些边界显然比走出整颗芯片时要小得多。当你把芯片数量扩大，会有一些性能损失。它不是完美的，但比跨越整个不同封装要好得多。
先进封装能扩展到多大？Nvidia的做法是CoWoS。Google、Broadcom、MediaTek和Amazon的Trainium都在做CoWoS。但实际上你可以回头看看Tesla在Dojo上做的事，他们取消后又重启了。Dojo是一颗有整片晶圆那么大的芯片。他们在上面放了25颗芯片。有一些取舍。他们没法把HBM放上去。但好的一面是他们在上面放了25颗芯片。迄今为止，它可能仍然是运行卷积神经网络最好的芯片。它只是不擅长transformers，因为芯片的形状、内存、算术以及所有这些各种规格，就是不太适合transformers。它们适合CNN。
Dojo芯片就是围绕那一点优化的，他们做了一个更大的封装。但随着你把封装做得越来越大，你会有其他约束：网络速度、内存带宽和散热能力。所有这些都会开始冒头。这并不简单。但没错，你会看到封装上芯片越来越多的趋势线，而且没错，你在7 nm上也能做到这一点。
事实上，这就是华为用他们的Ascend 910C或D所做的。他们最初放了一颗，然后做了两颗。他们专注于把封装规模做大，因为这是他们能比制程工艺进步更快的一个领域，而制程工艺他们没法缩小。但归根结底，这也是你在前沿芯片上能做的事。你在7 nm上能做的任何事，在封装方面你大概也能在3 nm上做。
中国何时会在半导体上超越西方？
Dwarkesh Patel:
如果我们最终在2030年进入这样一个世界：西方拥有最先进的制程工艺，但没有大规模扩产，而中国……我不知道你是否认为到2030年他们会有EUV和2 nm之类的。但他们已经对半导体上了瘾，而且在大规模量产。
基本上，我想知道的是哪一年会出现交叉点，我们的制程工艺优势已经衰减到足够小，而他们的规模优势已经增长到足够大。还有，如果他们拥有一个国家把整条供应链本土化的优势——而不是在德国和荷兰有零散的供应商——是否意味着中国在生产大规模flops的能力上会领先。
Dylan Patel:
迄今为止，中国仍然没有完全本土化的半导体供应链。
Dwarkesh Patel:
但到2030年他们会有吗？
Dylan Patel:
到2030年，他们有可能会有。但迄今为止，中国所有的7 nm和14 nm产能都使用ASML的DUV工具。他们能从ASML进口的数量很大。但ASML收入的绝大部分，尤其是EUV的全部收入，都在中国以外。规模优势仍然在西方加上台湾、日本、韩国等这一边。
Dwarkesh Patel:
但他们在尝试制造自己的DUV和EUV工具，对吧？
Dylan Patel:
他们在尝试做所有这些事。问题在于他们能以多快的速度推进，并在产量和质量上扩大规模。迄今为止，我们还没有看到这一点。现在，我相当看好他们在未来五到十年内能够做到这些事。他们会真正扩大产量并开足马力。他们有更多工程师在做这件事，也有更强烈的意愿往这个问题上砸资本。
Dwarkesh Patel:
那么到2030年，他们会拥有完全本土化的DUV吗？
Dylan Patel:
我认为肯定会有。DUV，是的。
Dwarkesh Patel:
那到2030年完全本土化的EUV呢？
Dylan Patel:
我认为他们会拥有能用的工具。我不认为他们届时就能批量制造出一大堆。让工具能用是一回事，量产地狱又是另一回事。ASML在2010年代初就让EUV以某种产能运转起来了。那些工具精度不够，没有为大批量制造做规模化设计，可靠性也不够。他们必须逐步提升产能，而这一切都需要时间。
量产地狱需要时间。这就是为什么又花了五到七年，EUV才在晶圆厂里进入量产，而不只是在实验室里能用。
Dwarkesh Patel:
你觉得到2030年他们能制造多少台DUV设备？
Dylan Patel:
ASML吗？
Dwarkesh Patel:
不，中国。
Dylan Patel:
这是个好问题。尤其是要看清这条供应链，有点挑战性。我们非常努力地去追踪。在某些情况下，他们是从日本供应商那里买东西。如果他们想要一条完全本土化的供应链，就不能从日本供应商那里买这些镜头、投影光学系统或工件台。他们得自己内部造出来。
很难说他们最终能达到什么水平。老实说，我觉得这纯属瞎猜。但大概并非不可能的是，他们一年能做到100台DUV设备这个量级，而ASML目前一年做几百台DUV设备。
没有任何一家公司的制程节点能做到每月生产100万片晶圆。Elon说他想做到，中国显然也会去做。台积电正试图做到这一点。存储芯片厂商可能也会达到每月100万片晶圆，但不是在一个单一的晶圆厂里。
想到这种规模就令人难以置信，也很难看到供应链被调动起来支撑这种规模。我不想怀疑中国扩大规模的能力。
Dwarkesh Patel:
我想这是个有意思的问题。我觉得到了某个时候，SemiAnalysis会对此做一次深度剖析。到什么时候，中国本土化的产能会超过西方其他地区的总和？把你模型里关于他们何时能规模化拥有DUV设备和EUV设备的输入放进去？
因为这里有个问题：如果你对AI的时间线拉得很长——长指的是2035年，从大局来看这并不算长——你是否应该预期出现一个中国在半导体领域占据主导的世界？这个问题被问得不够多，因为如果你在旧金山，我们思考的时间尺度是几周。如果你在旧金山以外，你根本不会去想AGI。
如果我们有了AGI呢？如果你有了这个变革性的东西，它带来数十万亿或数百万亿美元的经济增长和词元产出，但这件事发生在2035年呢？这对西方与中国意味着什么？SemiAnalysis必须写出关于这个的权威模型。
Dylan Patel:
当你把时间尺度推到那么远的时候，真的很有挑战性。我们倾向于关注的是追踪每一个数据中心、每一个晶圆厂以及所有设备。我们追踪它们去向哪里，但这些事情的时间滞后相对较短。我们只能基于土地购买、许可证和涡轮机采购，对数据中心容量做出还算合理的准确估计。我们知道这些东西都流向哪里，这就是我们卖的数据。
当你展望到2035年时，情况会变得截然不同。你的误差范围会变得非常大，以至于很难做出估计。但归根结底，如果起飞或时间线足够慢，我不明白为什么中国不能大幅追赶上来。在某种意义上，我们正处于这样一个差距较小的低谷：三到六个月前，或者甚至现在，中国模型正处于它们有史以来最具竞争力的水平。我认为Opus 4.6和GPT 5.4确实拉开了差距，让差距稍微变大了一些，但我相信会有一些新的中国模型出现。
当我们从出售词元——即它们提供完整推理链——转向出售自动化白领工作时——比如一个自动化软件工程师，你给它发送请求，它把结果返回给你，后端有大量思考过程它不会展示给你——从美国模型蒸馏到中国模型的能力将变得更加困难。
第二，看看这些实验室拥有的算力规模。OpenAI去年年底时大约有2吉瓦。Anthropic今年将达到2吉瓦以上。到明年年底，它们都将达到10吉瓦的容量。中国扩展其AI实验室算力的速度远没有这么快。到了某个时候，当你无法再将这些实验室的学习成果蒸馏到中国模型中，再加上OpenAI、Anthropic、Google和Meta都在竞相进行的这场算力竞赛，它们最终会到达一个模型性能应该开始更加分化的节点。
然后看看所有这些花在数据中心上的资本支出。亚马逊在花2000亿美元，谷歌1800亿美元。所有这些公司都在资本支出上花费数千亿美元。今年美国大约有近1万亿美元的资本支出投资于数据中心。这里的投资资本回报率是多少？你和我都会认为数据中心资本支出的投资资本回报率非常高。
如果我们看Anthropic的收入，1月份他们增加了40亿美元。2月份，那是个较短的月份，他们增加了60亿美元。我们将看看他们在3月和4月能做什么，因为算力限制正是瓶颈所在，制约了他们的增长。Claude的可靠性相当低，因为他们受算力限制太严重了。但如果这种情况持续下去，那么这些数据中心的ROIC就超级高。
到了某个时候，美国经济将在今年和明年开始越来越快地增长，因为所有这些资本支出、这些模型产生的所有收入，以及下游供应链。中国还没有这些。他们还没有建立起足够规模的基础设施来投资模型、达到这些能力，然后以如此规模部署这些模型。
当你看看Anthropic，他们的ARR是200亿美元。利润率低于50%，至少根据*The Information*上次报道的数据。所以按租赁成本计算，它运行所需的算力对应130亿或140亿美元，而这实际上是某人为Anthropic能够产生当前收入而投入的500亿美元资本支出。
中国就是没有做到这一点。如果Anthropic的营收再次增长10倍——我认为我们的答案会是“什么时候”，而不是“是否”——中国没有足够的算力来以那种规模部署。所以从某种意义上说，我们正处于快速起飞阶段。这并不是说我们在谈论某个日期前建成一个戴森球，而更像是营收以如此速度复利增长，以至于它确实影响了经济增长。这些实验室正在聚集的资源增长得如此之快。中国还没有做到这一点，所以在那种情况下，美国和西方实际上正在与中国拉开差距。
另一面是，这些基础设施投资的回报平平。也许它们没有人们期望的那么好。也许谷歌想把自由现金流降到零、并在明年花3000亿美元资本支出是错的。也许他们就是错了，而华尔街上看空的人以及那些不理解AI的人是对的。在那种情况下，美国正在建设所有这些产能，但并没有获得很好的回报。与此同时，中国能够建立一个完全垂直、本土化的供应链，而不是美国/日本/韩国/台湾/东南亚/欧洲这些国家共同建立这个不那么垂直的供应链。从某种意义上说，如果AI达到某些能力水平所需的时间比你们这档播客的大多数嘉宾所相信的要长，那么中国在某个时点就能规模上超过我们。
Dwarkesh Patel：
时间线快，美国赢；时间线长，中国赢。
Dylan Patel：
是的，但我不知道“时间线快”是什么意思。我不认为你必须相信AGI，才能得出美国赢的那些时间线。
即将到来的巨大内存短缺
Dwarkesh Patel：
让我们回到内存。我认为华尔街的人和业内的人都在理解这件事有多大，但也许普通人并不理解这是多么大的一件事。所以正如你所说的，我们正面临这种内存短缺。
之前我在问，哦，我们能不能通过回到7纳米来解决EUV工具短缺的问题？那让我就内存问一个类似的问题。HBM是由DRAM制成的，但每晶圆面积的比特数只有制造它的DRAM的三分之一到四分之一。
有没有可能未来的加速器可以直接使用通用DRAM而不是HBM，这样我们就能从现有的DRAM中获得多得多的容量？我认为这可能可行的原因是，如果我们将拥有只是出去干活的智能体，而不是同步的聊天机器人应用，那么你就不一定需要极快的延迟。
也许你可以有更低的带宽，因为把DRAM堆叠成HBM的原因就是为了更高的带宽。有没有可能转向HBM加速器，基本上就是Claude Code Fast的反面，比如来个Claude Slow？
Dylan Patel：
归根结底，愿意为词元支付最高价格的增量买家，最终也是那个对价格不那么敏感的人。在资本主义社会中，算力应该被分配给价值最高的商品，而私人市场通过支付意愿来决定这一点。
在某种程度上，Anthropic实际上可以发布一个慢速模式。他们可以发布Claude慢速模式，并大幅提高每美元的词元数。他们大概可以把Opus 4.6的价格降低4-5倍，而速度也许只降低2倍。仅就HBM而言，推理吞吐量与速度之间的曲线已经存在。然而他们并没有这么做，因为实际上没有人想用一个慢速模型。
此外，在这些智能体任务上，模型能以小时级的时间跨度运行，这很棒。但如果模型运行得更慢，那几个小时就会变成一天。反过来，如果模型运行得更快，那几个小时就变成一个钟头。没有人真的愿意转向长达一天的等待期，因为价值最高的任务也都有一定的时间敏感性。
我很难看出……是的，你可以用普通DRAM。这有几个挑战。芯片的核心约束之一是芯片尺寸是固定的，所有I/O都从边缘引出。通常，芯片的左右两侧是HBM——所以从芯片到HBM的I/O在两侧——而上下两侧是通往其他芯片的I/O。
如果你从HBM换成DDR，那么突然之间，边缘上的这个I/O带宽会大幅降低，但每颗芯片的容量会大幅提高。但你真正关心的指标是每片晶圆的带宽，而不是每片晶圆的比特数。
Dwarkesh Patel:
因为限制FLOPS的，恰恰是下一个矩阵的进出，而为此你只需要更多带宽。
Dylan Patel:
是的，把权重取出来，把KV缓存取进取出。在很多情况下，这些GPU并没有跑满内存容量。这显然是一个系统设计问题：模型、硬件和软件的协同设计。你必须弄清楚需要多少KV缓存，多少留在芯片上，多少卸载到其他芯片并在工具调用需要时取回，以及你要在多少颗芯片上做并行。
显然，这个搜索空间非常广，这就是为什么我们有InferenceX，一个开源模型，可以为各种不同的芯片和模型搜索推理上的所有最优点。
关键是，你并不总是必然受限于内存容量。你可能受限于FLOPS、网络带宽、内存带宽或内存容量。如果真正简化下来，有四个约束，而每一个都可以再细分出更多。
如果你换成DDR，是的，每片DRAM晶圆产出的比特数是四倍，但突然之间约束条件大幅改变，你的系统设计也随之改变。你变慢了。市场变小了吗？也许吧。但同样，所有这些FLOPS都被浪费了，因为它们只是坐在那里等内存。你不需要那么多容量，因为你没法真正提高批大小，否则KV缓存的读取时间会更长。
Dwarkesh Patel:
有道理。HBM和普通DRAM之间的带宽差距是多少？
Dylan Patel:
一个HBM4堆栈——我们就谈Rubin里的东西吧，因为我们一直在以它为基准——宽度是2048位，连接在一个13毫米宽的区域上。它以大约每秒10吉次传输的速度传输内存。
所以一个HBM4堆栈是在大约11到13毫米宽的区域上放2048位。这就是你在芯片上占用的岸线。在那条岸线上，你有2048位以每秒10吉次传输的速度传输。把两者相乘再除以八（比特换字节），你就得到每个HBM堆栈大约每秒2.5太字节。
再看DDR，在同样的面积上，它大概是64位或128位宽。那个DDR5的传输速度在每秒6.4到也许8000吉次传输之间。所以你的带宽要低得多。64乘以8000再除以八，得到每秒64吉字节。即使你按慷慨的解读取128乘以8吉次传输，在同样的岸线上你也就是每秒128吉字节，而对比的是每秒2.5太字节。
每单位边缘面积的带宽差了一个数量级。如果你的芯片是正方形，或者26乘33毫米——这是单颗裸片的最大尺寸——你只有那么多边缘面积。在芯片内部，你放上所有计算。你可以做一些事情来尝试改变这一点，比如更多SRAM或更多缓存。但归根结底，你非常受带宽的约束。
Dwarkesh Patel:
那么问题就是，你可以在哪里摧毁需求，以腾出足够的量给AI。我猜情况尤其糟糕，因为正如你所说，如果获得同样的字节需要四倍的晶圆面积，那么对HBM来说，你必须摧毁四倍于笔记本电脑和手机的消费者需求，才能为AI腾出一个字节。
这对未来一两年意味着什么？抱歉问题有点长，你在你的通讯里说，2026年大型科技公司资本支出的30%将流向内存？
Dylan Patel:
是的。
Dwarkesh Patel:
这太疯狂了，对吧？在6000亿美元还是多少里，30%仅仅流向内存。
Dylan Patel:
是的。显然，英伟达做了某种程度的利润叠加，所以你必须把这部分分离出来，把他们的利润加到内存和逻辑上。但归根结底，他们资本支出的三分之一流向了内存。
Dwarkesh Patel:
这太疯狂了。随着这场内存紧缺袭来，未来一两年我们应该预期什么？
Dylan Patel:
内存紧缺会继续变得更严重，价格会继续上涨。这对市场不同部分的影响不同。人们会越来越恨AI吗？是的，因为智能手机和PC不会一年比一年渐进地变好。事实上，它们会一年比一年渐进地变差。
Dwarkesh Patel:
如果你看一部iPhone的物料清单，内存占多大比例？如果内存贵一倍，一部iPhone会贵多少？
Dylan Patel:
我相信一部iPhone有12吉字节内存。每吉过去大约花3-4美元，所以是50美元。但现在内存价格已经涨到三倍。假设DDR每吉12美元。那现在你谈的就是150美元对50美元。
这对苹果来说是100美元的成本增加。苹果有一些利润空间，他们不会就这么把利润吃掉。NAND也有同样的市场动态，所以现实中，iPhone上大概会增加150美元。所以现在那是100美元的成本增加，而这还只是DRAM。 NAND也有类似的市场。所以事实上，iPhone上大概会增加150美元。苹果要么把它转嫁给消费者，要么自己吃掉。我不认为苹果会把自己的利润压得太低，也许他们会吃一点。但归根结底，这意味着终端消费者要为一部iPhone多付250美元。
而这还只是拿去年的价格和今天的价格比。苹果感受到压力之前会有一些滞后，因为他们往往有为期三个月到一年的内存长期合同。但归根结底，苹果会因此受到相当严重的打击。他们要到下一款iPhone发布才会真正调整。
但那是市场的高端，每年只有几亿部手机。苹果每年卖两三亿部手机。市场的大头是中端和低端。过去一年能卖出14亿部智能手机。现在大约是11亿部。我们的预测是，今年可能降到8亿部，明年降到5亿或6亿部。
我们看来自中国的数据点，来自我们在亚洲、新加坡、香港和台湾的一些分析师。他们一直在追踪这个，他们看到小米和Oppo把低端和中端智能手机的销量砍掉了一半。
是的，对于一部1000美元的iPhone，苹果有较大的利润空间，那只是150美元的BOM增加。但对于更小的手机，内存和存储占BOM的比例要大得多。而且利润更低，所以连吃掉利润的余地都更小。而且它们通常也不倾向于签内存长期协议。
这件事之所以影响重大，是因为如果智能手机销量减半，这个下降会发生在低端和中端，而不是高端。所以并不是释放出来的比特数减半。目前，消费设备占内存需求的一半以上。即使你把智能手机销量减半，由于减半的形态，低端被砍掉超过一半，而高端被砍掉不到一半，因为你和我仍然会买那些一千美元以上的高端手机。即使它们稍微贵一点，我们也会买。而苹果的销量不会像低端智能手机供应商那样下降那么多。
PC也一样。这对市场造成的影响相当剧烈。DRAM被释放出来，流向AI芯片，而AI芯片愿意签更长期的合同、支付更高的利润，因为归根结底，他们从终端用户那里榨取的利润要大得多。
这大概会导致人们更加恨AI。今天，你已经在PC子版块和游戏PC推特上看到各种梗图。就是那些猫跳舞的视频，说“这就是内存价格翻倍、你买不到新游戏GPU或台式机的原因。”当内存价格再翻一倍时，情况会更糟，尤其是DRAM。
另一个有趣的动态是，不只是DRAM，还有NAND。NAND的价格也在上涨。这两个市场在过去几年里扩产都非常缓慢，NAND几乎为零。NAND流向手机和PC的比例，比DRAM流向手机和PC的比例更大。
当你摧毁需求时，主要是为了DRAM的用途，你释放出更多NAND，它可以被分配并流向其他市场。DRAM的价格涨幅会比NAND更大，因为你从消费者那里释放了更多，而且事实上，你为AI生产了更多内存。
Dwarkesh Patel:
抱歉，也许你刚刚解释过了，我漏掉了。是因为SSD正被大量用于数据中心吗？
Dylan Patel：
确实在用，但用量没有DRAM那么大。
Dwarkesh Patel：
好，所以它们也会增长，因为会用掉一些量，但需求没有HBM那么大。有道理。
在读你的一些通讯之前，我一直没有意识到的一点是，未来几年阻碍逻辑芯片微缩的那些约束，和阻碍我们生产更多存储晶圆的约束非常相似。事实上，需要的正是同一台机器，这台EUV工具，存储也要用。所以我想，现在有人可能会问：为什么我们不能直接多造些存储？
Dylan Patel：
正如我之前提到的，这些约束在今天或明年未必是EUV工具。到了这个十年的后半段，它们才会变成约束。目前，约束更多在于他们实际上就是没建晶圆厂。过去三四年里，这些厂商没有建新晶圆厂，因为存储价格非常低。他们的利润率很低，事实上2023年他们在存储上还在亏钱。所以他们决定不建新晶圆厂。市场随着时间慢慢复苏，但直到去年才真正变得非常好。
2024年，我们一直在敲锣打鼓地说，推理意味着长上下文，长上下文意味着大的KV缓存，意味着你需要大量的存储需求。这件事我们已经谈了一年半、两年了。懂AI的人那时候就大举做多存储。所以你已经看到了那种动态，但现在它终于体现在价格上了。
本来显而易见的事情，却花了这么久才兑现：长上下文意味着KV缓存变大，你需要更多存储。加速器一半的成本是存储。他们当然会开始在这上面疯狂投入。花了一年时间，这一点才真正反映到存储价格上。一旦存储价格反映了这一点，又过了三到六个月，存储厂商才开始建晶圆厂。那些晶圆厂要两年才能建成。所以直到2027年底或2028年，我们才会有真正有意义的晶圆厂，甚至能把这些工具放进去。
相反，你已经看到了一些非常疯狂的做法来获取产能。美光从台湾一家公司手里买下了一座晶圆厂，那家厂做的是落后制程芯片。海力士和三星正在做一些相当疯狂的事情，试图在现有晶圆厂里扩产，这也会对经济产生很大的连锁反应。
那为什么我们不能建更多产能？因为没地方放这些工具。不只是EUV；DRAM和逻辑芯片还涉及其他工具。在逻辑芯片方面，N3制程中，最终晶圆成本的大约28%是EUV。而看DRAM，这个比例在百分之十几。它在上升，但占成本的比例小得多。这些其他工具也是瓶颈，尽管它们的供应链不像ASML那么复杂。
你会看到应用材料、泛林研究以及其他所有这些公司也在大幅扩产。但你没有地方放这些工具，因为人类建造的最复杂的建筑就是晶圆厂，而晶圆厂要两年才能建成。
Dwarkesh Patel：
我最近采访了Elon，他的整个计划就是他们要建这个TeraFab，还要建洁净室。我甚至都不问你那个脏房间的事了，但假设他们建起了洁净室。
我有几个问题。第一，你认为这是Elon的公司能以远超常规建造速度来完成的事情吗？这不是关于造最终的工具。这只是关于建造设施本身。仅仅极快地建起洁净室，有多复杂？如果今年或明年我们的瓶颈就在这里，这是Elon凭他“快速行动”的做法能快得多做到的事情吗？第二，如果按你的看法，两年后我们的瓶颈不是洁净室空间，而是工具，那这件事还有意义吗？
Dylan Patel：
和任何复杂的供应链一样，这需要时间，而约束会随时间推移而变化。即使某样东西不再是约束，也不意味着那个市场不再有利润。比如，几年后能源不会是大瓶颈，但这不意味着能源不在飞速增长、那里没有利润。它只是不是关键瓶颈而已。在晶圆厂这个领域，洁净室是今年和明年的最大瓶颈。到了2028、2029、2030年，那里仍然会有约束。
Elon的特点在于，他有极强的能力去获取实体资源和真正聪明的人来建造东西。他招募杰出人才的方式，是去尝试建造最疯狂的东西。在AI这件事上，这其实不太奏效，因为每个人都在试图造AGI。每个人都非常有野心。但在去火星、造能自行着陆的火箭、全自动驾驶电动汽车或人形机器人这些事情上，这些是招募那些认为那才是世界上最重要问题的人来做那个问题的方法，因为他是唯一一个真正在拼命尝试的人。
在半导体这件事上，他说他想建一座每月一百万片晶圆的晶圆厂。没有人有那么大的晶圆厂。他有可能招募到很多非常厉害的人，让他们投入这个每月一百万片晶圆的疯狂任务。第一步是建洁净室，我认为他大概能做到。他那种“删掉东西”、脏一点也没关系的心态，可能不对。实际上我认为这100%不对。你需要晶圆厂非常干净。晶圆厂里所有的空气每三秒就更换一次，就是这么快。颗粒必须少之又少。
但我认为他能建起洁净室。这要花一两年。一开始不会特别快，但随着时间推移，他会越做越快。真正复杂的部分其实是开发工艺技术并制造晶圆。我不认为他能很快开发出来。那需要大量积累起来的知识。最复杂的、把非常昂贵的工具和供应链整合在一起的工作，是由台积电、英特尔或三星完成的。另外那两家公司在这方面甚至都没那么强，而它们已经极其复杂了。
Dwarkesh Patel：
如果到2030年，恰好出现了某种彻底颠覆，我们不再使用EUV，你会多惊讶？如果我们用的是某种效果更好、生产起来简单得多、而且能大规模量产的东西呢？我确信，作为行业内部人士，这听起来像是个完全天真的问题，但你明白我在问什么吗？我们应该给“某个完全出乎意料的东西让这一切都变得无关紧要”这件事赋予多大概率？
Dylan Patel：
对于某种非常简单、容易扩展的东西，我赋予非常非常低的概率。有一些公司在研究实际上是粒子加速器或同步加速器的东西，用来产生13.5纳米的光，像EUV那样，或者更窄的波长，比如7纳米的X射线，然后用于光刻工具。但那些东西是巨大的粒子加速器，用来产生这种光。建造起来是非常复杂的事情。
有几家公司，我认为那可能会成为EUV之外对行业的一大颠覆。但我不认为我们会神奇地造出某种全新的、直写式的、超级简单、还能以巨大产量制造的东西，尽管确实有一些这样做的尝试。
Dwarkesh Patel：
我问这个是因为，如果你想想Elon过去的公司，火箭技术曾被认为是——而且确实是——极其复杂的。
Dylan Patel：
你看，跟Elon比起来，我不过是个天真的碎嘴子。我造出过什么？所以也许是有可能的。
Dwarkesh Patel：
为了未来造出更多存储，我们能不能像做3D NAND那样做3D DRAM，然后回到DUV？
Dylan Patel：
这是目前的希望所在。所有人对3D DRAM的路线图都仍然要用EUV，因为你想要更紧的套刻精度。当你做这些后续工艺步骤时，一切都是垂直堆叠的，你会有更多层叠在一起。你希望间距更紧。所以总的来说，人们仍然在尝试用EUV来做。
但3D会改变的是，单次EUV曝光能做出多少比特的计算。如果走向3D DRAM，那个数字会大幅上升。这就是希望所在。目前，所有人的路线图都是从现在的6F单元，到4F单元，然后最终在这个十年末或下个十年初实现3D DRAM。还有很多研发、制造和整合工作要做。我不会说这不可能。我认为这非常有可能发生。
这还需要对晶圆厂进行大规模的设备重组。晶圆厂内各类设备的构成将变得非常不同。光刻设备实际上是唯一没有太大变化的东西。但相对于不同类型的化学气相沉积、原子层沉积、干法刻蚀，或具有不同化学性质的各种刻蚀腔体，它们的数量……针对不同工艺节点，你需要所有这些不同的设备。你不可能在短时间内把一座逻辑晶圆厂改造成DRAM晶圆厂，反之亦然，或者把NAND晶圆厂改造成DRAM晶圆厂。
同样，现有的DRAM晶圆厂仅仅为了从1-alpha推进到1-beta再到1-gamma工艺节点，就需要进行大量设备重组，因为它们必须增加DUV，并改变使用EUV时的沉积和刻蚀化学栈。而且EUV设备必须到位。此外，当转向3D DRAM时，将会有更大的转变，因此这些晶圆厂需要进行大量的设备重组。
那将是一次巨大的颠覆。那会使得EUV需求普遍降低。但正如我们长期以来所看到的，光刻需求占晶圆成本的比例呈上升趋势。在2014年前后，它占晶圆成本的17%，而在过去十五年里已经上升到30%。对于DRAM，这个比例曾处于百分之十几的低中段，现在已趋向接近百分之二十。在我们实现3D DRAM之前，它很可能会跨入20%以上的区间。但然后，如果我们实现了3D DRAM，最终晶圆总成本占EUV的比例又会再次下降。
译注：公开转录末句的百分比顺序是“最终晶圆总成本占 EUV”，与前文“光刻需求占晶圆成本”不同。译文保留末句表述，不据推测调换其分子与分母。
Dwarkesh Patel:
我想你不太关心成本占比，更关心它在多大程度上制约生产。
Dylan Patel:
对，但成本占比——
Dwarkesh Patel:
它是一个代理指标，是的。如果你是Jensen或Sam Altman，或者任何能从扩大AI算力中获益良多的人，就会有这样的说法：他们会去台积电说，“为什么我们不能获得Y和Z？”但我认为你要表达的观点是，从某种意义上说，台积电做什么并不重要。事实上，即使有英特尔和三星建造更多晶圆厂，从长远来看，你仍将受制于ASML以及其他设备和材料制造商。
首先，这个解读正确吗？其次，硅谷的人现在是否应该去荷兰，试图说服ASML生产更多设备，以便在2030年能拥有更多AI算力？
Dylan Patel:
这是我们在2023年、2024年和2025年看到的一种有趣动态。那些比别人更早看到能源瓶颈的人，不对称地跑去西门子、三菱，当然还有GE Vernova，买断了涡轮机产能。现在他们能够因为能源问题，在这些地方部署这些涡轮机时收取超额费用。
同样地，这也可以对EUV做，只不过ASML不会随便信任任何一个想买EUV设备的无名之辈。这些涡轮机比EUV设备便宜得多，而且产量也大得多。尤其是当你涉及到工业燃气轮机时，不仅是联合循环，还有更便宜、更小、效率更低的那些，人们会为这些支付定金。
有人可以这么做。应该有人去荷兰，说：“我给你十亿美元。你给我两年后购买十台EUV设备的权利，而且我是第一个排队的。”然后在接下来的两年里，你四处奔走，等待所有人意识到：“哦糟了，我没有足够的EUV设备，”然后你试图以某种溢价出售你的期权。你实际上所做的就是说：“ASML，你真笨。你在这上面没赚够利润。我要来赚这个利润。”问题是，ASML会同意吗？我认为不会。
Dwarkesh Patel:
有一种可能，他们至少能从中获得需求信号来增加生产。
Dylan Patel:
有可能。我同意。
Dwarkesh Patel:
但听起来你是在说，鉴于供应链状况，他们即使想增加生产也做不到。
Dylan Patel:
对。但这恰恰就是那种市场……如果他们无法增加生产，就像台积电无法那么快地增加生产一样，而需求却在飙升，那么显而易见的解决方案就是对此进行套利。你我都知道需求远高于他们的预测和他们的建造能力。
你通过锁定产能、签订远期合同来套利，然后在其他人意识到一切都完蛋了、我们没有足够产能的时候，试图在以后出售它。然后你就能获得ASML和台积电本该收取的那种疯狂利润。但问题是，我不知道ASML和台积电是否会同意这样做。
在美国扩大电力规模不会成为问题
Dwarkesh Patel:
现在让我问问你关于电力的问题。听起来你认为电力可以任意扩大规模。
Dylan Patel:
不是任意，但可以。
Dwarkesh Patel:
但超出这些数字。如果我没记错的话，你关于AI实验室如何增加电力的博客文章暗示GE Vernova、三菱和西门子每年可以生产60吉瓦的燃气轮机。然后还有其他来源，但它们不如涡轮机那么重要。
我假设其中只有一小部分用于AI。如果到2030年我们有足够的逻辑和存储芯片来支持每年200吉瓦，你是否认为这些东西正朝着每年扩大到超过200吉瓦的路径发展，还是你看到了什么？
Dylan Patel:
现在我们处于20或30吉瓦。顺便说一句，这是关键IT容量，这一点很重要。当我谈论这些吉瓦时，我指的是关键IT容量。服务器插上电，那就是它消耗的功率。但整个链条上都有损耗。输电、转换、冷却等环节都有损耗。所以你应该把今年的20吉瓦，或这个十年末的200吉瓦，向上放大20-30%。
然后还有容量系数。涡轮机不会100%运行。如果你看看PJM，我认为它是美国最大的电网——覆盖中西部和东北部部分地区——在他们的模型中，他们希望有大约20%的过剩容量。在这20%的过剩容量中，他们让所有涡轮机以90%运行，因为出于可靠性、维护等原因它们会被降额。实际上，由于所有这些因素，能源的铭牌容量总是远高于最终的关键IT容量。
但这不仅仅是涡轮机。如果你只是用涡轮机发电，那很简单、无聊且容易。人类和资本主义要有效得多。那篇博客的全部要点是，是的，只有三家公司制造联合循环燃气轮机，但我们可以做的还有很多。我们可以做航改型。我们可以把飞机发动机改造成涡轮机。市场上甚至还有新进入者，比如Boom Supersonic试图这样做，并与Crusoe合作。还有市场上已经存在的所有其他类似产品。
还有中速往复式发动机：像柴油发动机那样旋转的发动机。有十家公司以这种方式制造发动机。我来自佐治亚州，人们过去常常说，“哦天哪，你那辆RAM皮卡里装的是康明斯发动机。”汽车制造业正在下滑，所以这些公司都有产能，可以扩大规模并将其转化为数据中心电力。你把所有这些往复式发动机装进去。它不像联合循环那么清洁，但如果你愿意，也许可以把它们从柴油转换为天然气。
那船用发动机呢？所有用于大型货船的发动机都很棒。Nebius正在新泽西州为微软数据中心这样做。他们运行船用发动机来发电。Bloom Energy正在做燃料电池。我们一年半以来一直非常看好他们，因为他们有如此强的增产能力。他们增产的投资回收期非常快，即使成本比联合循环略高一些，而联合循环在成本和效率方面是最佳的。
然后是太阳能加电池，随着成本曲线继续下降，它们可以上线。还有风能，你可能只能期望获得最大功率的15%，因为风会波动，但你可以加上电池。有所有这些选择。
另一件事是，电网的规模设定是为了让我们在夏天最热的那一天、用电高峰时不会断电。但实际上，那只是一个比平均值高出10-20%的负荷尖峰。如果你只是装足够多的公用事业规模电池，或者调峰电厂——它们一年中只运行一小部分时间——这些可以是燃气、工业燃气轮机、联合循环、电池，或者我提到的任何其他来源——那么突然间，你就为数据中心解锁了美国电网的20%。大多数时候，那部分容量都闲置着。它真的只是为了应对那个尖峰，而那个尖峰一年中只有几天里的几个小时。如果你有足够的容量来吸收那个尖峰负荷，那么突然间，你就把这一切都转移过来了。
如今，数据中心只占美国电网电力的3-4%，到2028年将达到10%。但如果你能像这样解锁美国电网的20%，那就不算太疯狂。美国电网是太瓦级的，不是几百吉瓦级的。所以我们可以增加多得多的能源。
我不是说这很容易。这些事情将会很难。有很多艰难的工程，人们必须承担风险，人们必须使用新技术。但Elon是第一个做表后燃气的人，从那以后，我们看到了人们为了获得电力而做的各种事情的爆发式增长。它们不容易，但人们将能够做到。供应链比芯片简单多了。
Dwarkesh Patel：
有意思。他在采访中指出，对于他正在看的那个特定涡轮机的特定叶片，交货期一直排到2030年以后。你的观点是——
Dylan Patel：
那很好。有那么多其他方式可以产生能源。效率低一点就行了。没关系。
Dwarkesh Patel：
目前，联合循环燃气轮机的资本支出是每千瓦1,500美元。你是说，要么采用比这贵得多的技术，要么其他东西变得足够便宜从而具有竞争力，这样才合理吗？
Dylan Patel：
正是如此。它可能高达每千瓦3,500美元。它可能是联合循环成本的两倍，而GPU在总拥有成本基础上的总成本每小时只增加了几美分。
因为我们一直在谈论Hopper的定价，1.40美元，假设电价翻倍。原本1.40美元的Hopper现在成本是1.50美元。我不在乎，因为模型改进得如此之快，它们的边际效用远远超过那十美分的能源成本增加。
Dwarkesh Patel：
所以你是说电网的20%——电网大约是一太瓦——可以直接通过公用事业规模电池上线，增加你愿意放到电网上的容量。
Dylan Patel：
顺便说一句，那里的监管机制并不容易。
Dwarkesh Patel：
但如果这假设性地发生，那就是200吉瓦。仅从你提到的不同燃气发电来源——不同种类的发动机和涡轮机——加起来，到本十年末它们能解锁多少吉瓦？
Dylan Patel：
我们在我们的数据中追踪这个。仅燃气方面，就有超过16家不同的发电设备制造商。是的，联合循环只有三家涡轮机制造商，但我们追踪了16家不同的供应商，我们有他们所有的订单。事实证明，有数百吉瓦的订单流向各个数据中心。
随着我们接近本十年末，我们认为新增容量中大约一半将是表后的。表后几乎总是比并网更贵，但并网存在很多问题：许可、互联排队以及诸如此类的事情。所以即使更贵，人们也在做表后。
他们在表后做的事情范围很广。可以是往复式发动机、船用发动机或航空衍生发动机。可以是联合循环，尽管联合循环对表后来说不是那么好。可以是Bloom Energy燃料电池，或者太阳能加电池。可以是这些中的任何一种。
Dwarkesh Patel：
你是说这些中的任何一种单独就能做到几十吉瓦？
Dylan Patel：
这些中的任何一种单独就能做到几十吉瓦，而作为一个整体，它们将做到数百吉瓦。
Dwarkesh Patel：
好的。所以仅这一点就应该不止——
Dylan Patel：
电工工资可能会再翻倍或翻三倍。会有很多新人进入这个领域，也会有大量的人赚钱，但我不认为那是主要的瓶颈。
Dwarkesh Patel：
现在在Abilene，在Crusoe为OpenAI建造的1.2吉瓦数据中心，我想他们有5,000人在那里工作，或者高峰时有过。如果你把它变成100吉瓦——我相信随着时间推移事情会变得更高效——那将需要40万人来建造100吉瓦。
如果你考虑美国的劳动力，以及有多少电工和多少建筑工人……我猜有80万电工。我不知道他们是否都能以这种方式替代。有数百万建筑工人。但如果我们处于一个每年新增200吉瓦的世界，我们最终会在劳动力上吃紧吗，还是你认为那实际上不是一个真正的约束？
Dylan Patel：
劳动力是一个很大的约束。在这件事上是一个巨大的约束。人们必须接受培训。同样，我们可能会开始进口最高技能的劳动力。一个在欧洲、原本在拆除发电厂的高技能电工现在来到美国，在数据中心里建造高压电力传输，这是合理的。
人形机器人，或者至少机器人技术，可能开始有所帮助，但减少人数的关键因素将是将东西模块化，并在亚洲的工厂里制造。对美国来说不幸的是，像韩国、东南亚，以及在很多方面还有中国这样的地方，将运送越来越多已经建好的数据中心部分，这些将被运进来。今天你运送的是服务器或机架进来，然后你把它插到从不同地方运来的不同部件上。
但现在你会把它运到一个工厂，把整个东西集成起来。也许这是一个两兆瓦的模块，这个模块从高压交流电变成你输送到机架的直流电压，或者类似的东西。或者在冷却方面，你运送一个完全集成的单元，很多冷却子系统已经组装好了，因为水管工在这里也是一个很大的约束。
此外，不再只是一个机架、人们用电力给所有这些机架接线，而是你拿一个滑橇，把一整排服务器放在上面，直接从工厂运来。今天，单个机架可能是120或140千瓦，但随着我们进入下一代Nvidia Kyber之类的东西，它几乎是1兆瓦。
此外，如果你做一整排，它将把机架、网络、冷却和电力全部集成在一起。现在当你进来时，你需要布线的就少得多。网络光纤更少，电力连接更少，管道的东西也更少。这可以大幅减少在数据中心工作的人数，所以我们建造它们的能力将会大得多。
在这个过程中，有些人会更快地转向新事物，有些人会更慢。Crusoe和Google一直在大量讨论这种模块化，像Meta这样的公司和许多其他公司也是如此。更快转向新事物的人可能会面临延误，而较慢的人将面临劳动力问题。市场上总会有错位，因为这是一个非常复杂的供应链。归根结底，它仍然足够简单，我们能够在所需的时间尺度上通过资本主义和人类的聪明才智来解决它。
太空GPU在本十年内不会发生
Dwarkesh Patel：
说到需要解决的重大问题，Elon Musk非常看好太空GPU。如果你说得对，电力不是地球上的约束……我想他们这样做的另一个原因是，即使地球上将有足够的燃气轮机或其他什么，Elon的下一个论点是，你无法获得在地球上建造数百吉瓦的许可。你买这个论点吗？
Dylan Patel：
就土地而言，美国很大。数据中心实际上并不占那么多空间，所以你可以解决这个问题。就许可而言，空气污染许可是一个挑战，但特朗普政府让它容易多了。你去德克萨斯州，可以跳过很多这种繁文缛节。
Elon在孟菲斯不得不处理很多这种复杂的事情，然后为Colossus 1和2在边境对面建一个发电厂。但归根结底，在德克萨斯州中部，你可以逃脱的事情要多得多。
Dwarkesh Patel：
鉴于Elon住在德克萨斯州，他为什么不直接去德克萨斯州？
Dylan Patel：
我认为部分原因是他们在一段临时时期内过度偏重了电网电力。那只是他们认为更需要的东西。
Dwarkesh Patel：
因为他们那里有一个连接到电网的铝冶炼厂。
Dylan Patel：
那其实是一家闲置的电器工厂。但我认为他们可能更多是看中了电网供电、供水和燃气接入。我觉得他们买下那块地的时候就知道燃气管线就在旁边，打算直接接上去。供水也是一样。这是一大堆不同的约束条件。那可能还是一个更容易找到电工的地区。
说到底，我并不完全确定他们为什么选了那个地点。我敢打赌，如果能重来，Elon 会选德克萨斯州的某个地方，因为他当时面临的监管挑战。归根结底，审批是个难题，但美国是个有50个州的大地方，事情总会办成。
有很多小的辖区，你完全可以把所有需要的工人运进去，临时待上三到十二个月，具体取决于承包商。你可以把他们安置在临时住房里，花大价钱，因为相对于 GPU 和网络设备，以及它最终将产出的词元价值来说，劳动力非常便宜。所以有充足的空间来支付所有这些开销。
而且，人们现在也在分散布局。澳大利亚、马来西亚、印度尼西亚和印度都是数据中心建设速度大大加快的地方。但目前，超过70%的 AI 数据中心仍然在美国，而且这一趋势仍在延续。人们正在摸索如何建造这些东西。归根结底，在德克萨斯州、怀俄明州或新墨西哥州的荒郊野外处理审批和繁文缛节，可能比把东西送上太空要容易得多。
Dwarkesh Patel：
除了考虑到能源只占数据中心总拥有成本的一小部分、经济论证因此变得不太成立之外，你持怀疑态度的其他理由是什么？
Dylan Patel：
显然，在太空中电力基本上是免费的。
Dwarkesh Patel：
这就是做这件事的理由。
Dylan Patel：
对，这就是做这件事的理由。但还有其他所有的反对论点。即使地球上的电力成本翻倍，它仍然只占 GPU 总成本的一小部分。
主要的挑战是……我们有 ClusterMAX，它对所有新云厂商进行评级。我们测试了40多家云公司，包括超大规模云厂商和新云厂商。除了软件之外，这些云之间最大的区别在于它们部署和管理故障的能力。
GPU 极其不可靠。即使在今天，大约15%部署的 Blackwell 都必须进行 RMA。你必须把它们取出来。有时你只需要重新插拔一下，但有时你必须把它们取出来，运回 Nvidia 或他们的合作伙伴那里去做 RMA 之类的处理。
Dwarkesh Patel：
Elon 的论点是，经过初始阶段之后，它们其实不会那么频繁地出故障。你怎么看？
Dylan Patel：
当然，但现在你已经做了这些事：全部测试了一遍，拆解了它们，装上飞船，发射到太空，然后再让它们上线。这要花好几个月。如果你的论点是 GPU 有五年使用寿命，而这又多花了六个月，那就是你集群使用寿命的10%。
因为我们受产能约束如此严重，那些算力在理论上在你拿到它的头六个月里价值最高。我们现在受到的约束比未来会更严重。那些算力可以为未来更好的模型做出贡献，或者今天产生收入，让你能筹集更多资金。所有这些都让当下成为最重要的时刻，但你却可能把算力部署推迟了六个月。
这些云提供商之间的区别在于……我们看到有些云在地球上部署 GPU 都要花六个月。我们看到有些云花的时间远少于六个月。所以问题是，太空在这其中处于什么位置？我看不出你怎么可能在地球上全部测试一遍、拆解它们、再把它们运到太空，而不比直接把它们留在你测试它们的设施里花的时间长得多。
Dwarkesh Patel：
我想问的问题是太空通信的拓扑结构。目前，Starlink 卫星之间的通信速度是每秒100吉比特。你可以想象，如果为此优化光学星间激光链路，速度会高得多。那实际上会相当接近 InfiniBand 的带宽，也就是每秒400吉字节。
Dylan Patel：
但那是每块 GPU 的，不是每个机架的。所以再乘以 72。而且，那是 Hopper。当你转向 Blackwell 和 Rubin 时，那个数字会变为2倍，然后再变为2倍。
Dwarkesh Patel：
但每个……有多少算力在发生？在推理期间，不同的扩展域还在协同工作吗，还是推理只是在一个单一扩展域内以批次形式进行？
Dylan Patel：
很多模型能装进一个扩展域内，但很多时候你会把它们拆分到多个扩展域上。
随着模型变得越来越稀疏——这是总体趋势——你会希望每个 GPU 只 ping 几个专家。如果当今领先的模型有几百个甚至一千个专家，那么即使我们向未来推进，你也会希望跨几百或几千个芯片来运行它。
于是你就遇到了需要把所有这些人造卫星连接起来进行通信的问题。
Dwarkesh Patel：
那会很难。如果存在一个世界，你可以在单个扩展域内对一个批次做推理，那么也许这更可行。但如果不是，那就是另一回事了。
Dylan Patel：
把这些芯片联网在一起是个问题，而且你不能把卫星做得无限大。要把卫星做得非常大，有很多物理上的挑战。这就是为什么你需要卫星之间的这些互连。
那些互连更贵。在一个集群中，15-20%的成本是网络。突然间，你要用的是太空激光器，而不是那种以数百万量级量产、带可插拔收发器的简单激光器。
而且那些东西也非常不可靠，顺便说一句，比 GPU 还不可靠。在一个集群的整个生命周期中，你必须一直拔插和清洁它们。你会因为各种随机原因不得不拔下再插上。这些东西就是没那么可靠。所以你也有那个问题。你要用一个更昂贵、更复杂的太空激光器来通信，而不是用这种已经以超高产量生产的可插拔光收发器。
Dwarkesh Patel：
那么总的来说，这对太空数据中心意味着什么？
Dylan Patel：
太空数据中心实际上并不受其能源优势的限制。它们受限于同样那个被争抢的资源。到本十年末，我们一年只能生产两百吉瓦的芯片。我们要怎么做才能获得那个产能？它在陆地上还是在太空里并不重要。其实并不重要，因为你可以建设那些电力。人类的能力和产能可能会达到这样一个阶段：我们全球每年新增一太瓦的各种类型的电力。
在某个时点，我们确实会跨越那道鸿沟，让太空数据中心变得合理，但不是这个十年。那要远得多，要等到能源约束真正成为一个大瓶颈、土地审批随着它占据经济更大份额而成为一个大得多的瓶颈之后。而关键的是，要等到芯片不再是瓶颈之后。
现在，芯片是最大的瓶颈。你希望它们一被制造出来就部署起来、在 AI 上工作。人们正在做很多事情来越来越快地提高那个速度。他们在把数据中心模块化，甚至把机架模块化——你把芯片在数据中心里装进去，但只有芯片，其他一切都已经布好线、准备就绪。人们正在做这类事情来缩短那个时间，而这些你在太空里做不到。
归根结底，在一个受芯片约束的世界里，唯一重要的是让这些芯片尽快产出词元。也许到2035年，半导体行业、ASML、Zeiss，以及像 Lam Research 和 Applied Materials 这样的供应商和其他晶圆厂制造商将会赶上，一旦钟摆摆回来，我们能够制造足够的芯片。那时我们就会优化每一个旋钮，优化10-15%的能源成本就变得合理了。随着我们可能转向 ASIC，如果 Nvidia 的利润率不再是+70%，也许那个能源成本会变成集群的30%。这些才是要优化的东西。
但 Elon 不是靠取得20%的收益来赢的。他从来不那样赢。Elon 赢的时候，是他全力挥棒、取得10倍收益的时候。SpaceX 就是这样。Tesla 就是这样。他所有的成功都是关于那个，而不是追逐那20%。我认为，随着地球资源变得越来越有争议，太空数据中心最终会是一个10倍的收益，但那不是这个十年。
Dwarkesh Patel：
只是为了让大家对地球上到底有多少土地有个直观感受……显然，对于芯片本身，尤其是如果你进入一个机架有兆瓦级功率的世界——
Dylan Patel：
那是另一回事。如果制造是约束，那么现在 AI 芯片大约是每平方毫米一瓦。一个简单的改进方法是把它提到每平方毫米两瓦。你可能得不到2倍的性能，你可能只得到20%更多的性能，而那需要更奇特的冷却。它需要更复杂的冷板和复杂的液冷，或者甚至可能是像浸没式冷却这样的东西。
在太空里，更高的每平方毫米瓦数非常困难，而在地球上，这些都是已经解决的问题。其中一件事能让你获得多得多的词元，也许每片制造的晶圆多20%的词元，那是一个巨大的胜利。
Dwarkesh Patel：
平方毫米，你是指裸片面积？
Dylan Patel：
对，裸片面积。
Dwarkesh Patel：
对太空来说这反而更好，因为每毫米瓦数越高意味着芯片运行温度越高。我猜这是计算机芯片工程的问题，但根据斯特藩-玻尔兹曼定律，辐射散热与温度的四次方成正比。如果你能让芯片运行在非常高的温度，那就能允许大量——
Dylan Patel：
不，你不能让它运行得更热。你只能让它运行得更密集。问题在于，要把热量从那个密集区域带走，就意味着你必须从标准的空气冷却和液体冷却转向更奇特的液冷形式，甚至浸没式冷却，才能达到更高的功率密度。这在太空中比在地球上更难做到。
Dwarkesh Patel：
也许在这一点上值得解释一下，scale-up 到底是什么，以及它在 Nvidia、Trainium 和 TPU 上分别是什么样子。
Dylan Patel：
我之前提到过，芯片内部的通信速度极快。同一机架内芯片之间的通信很快，但没那么快。它的量级是每秒数太字节。距离很远的通信量级是每秒数百吉字节。随着距离进一步拉远，比如横跨全国，量级就变成每秒数吉字节。
scale-up 域就是这样一个紧密的域，其中芯片以每秒数太字节的量级通信。对 Nvidia 来说，以前这意味着一个 H100 服务器有 8 块 GPU，这 8 块 GPU 可以以每秒数太字节的速度互相通信。到了 Blackwell NVL72，他们实现了机架级的 scale-up。这意味着机架中全部 72 块 GPU 都能以每秒数太字节的速度互相连接。速度每一代翻倍，但最重要的创新是这个域从 8 块扩展到了 72 块。
再看 Google，他们的 scale-up 域完全不同。它一直是在数千的量级。TPU v4 时，他们的 pod 规模是 4000 块芯片。到了 v8 或 v7，他们的 pod 规模在 8000 到 9000 块的区间。这里的关键是，它和 Nvidia 不一样。不能简单类比。
Google 采用的是一种环面拓扑。每块芯片连接 6 个邻居。Nvidia 的 72 块 GPU 是全互联的。它们可以以每秒数太字节的速度向该 scale-up pod 中任意一块其他芯片发送数据。而 Google 这边，你必须通过芯片跳转。如果 TPU 1 需要和 TPU 76 通信，它必须经过多块芯片跳转，而这样做时总会有某种资源阻塞，因为那块 TPU 只连接了另外 6 块 TPU。
所以拓扑和带宽上存在差异，两者各有取舍和优势。Google 得以拥有一个巨大的 scale-up 域，但代价是要通过芯片跳转才能从一块到达另一块。你只能和 6 个直接邻居通信。
Amazon 则对他们的 scale-up 域做了变异。他们介于 Nvidia 和 Google 之间。他们试图做出更大的 scale-up 域。他们在某种程度上尝试通过交换机实现全互联，这正是 Nvidia 的做法，但他们也在某种程度上使用 Google 那样的环面拓扑。
随着我们推进到下一代，这三家都在更多地转向蜻蜓拓扑。这意味着有些元素是全连接的，有些元素不是全连接的。你可以让 scale-up 达到数百甚至数千块芯片，同时还能在通过芯片跳转时不争抢资源。
Dwarkesh Patel：
相关问题：我听有人提出一个说法，说参数规模扩展之所以缓慢——直到现在才从 OpenAI 和 Anthropic 那里看到更大的模型——原因是……最初的 GPT-4 超过一万亿参数，而直到现在模型才开始再次接近那个水平。我听到一个理论，说原因是 Nvidia 的 scale-up 一直没有那么大的内存容量。假设你有一个 5T 模型以 FP8 运行，那就是五万亿吉字节。然后你还有 KV cache，假设它是——
Dylan Patel：
就按同样大小算吧。
Dwarkesh Patel：
好，假设一个 batch 下它大小相同。那么你需要 10 太字节才能运行……
Dylan Patel：
单次前向传播，对。
Dwarkesh Patel：
而只有到了 GB200 和 NVL72，你才有一个拥有 20 太字节的 Nvidia scale-up，在那之前它们要小得多。而另一方面，Google 一直拥有这些巨大的 TPU pod，虽然不是全互联，但在单个 scale-up 中仍有数百太字节的容量。这能解释为什么参数规模扩展一直缓慢吗？
Dylan Patel：
我认为部分原因是容量和带宽，但同时也因为当你构建一个更大的模型时，部署它的能力会更慢。至于最终用户的推理速度是多少，那其实无关紧要。真正相关的是 RL。
从这些模型以及实验室中算力分配的情况来看……分配算力主要有几种方式。你可以把它分配给推理，也就是收入。你可以把它分配给开发，也就是做下一个模型。你可以把它分配给研究。具体到开发，你把它在预训练和 RL 之间分配。
当你思考正在发生什么时，研究带来的算力效率提升如此之大，以至于你实际上希望大部分算力都投入到研究中，而不是开发。所有这些研究人员都在产生新想法、尝试它们、测试它们，并不断把缩放定律的帕累托最优曲线往前推得越来越远。从经验上看，我们看到的是模型成本每年便宜 10 倍，甚至更多。在同样的规模下它便宜 10 倍，而要达到新的前沿则花费相同或更多。所以你不希望把太多资源分配给预训练和 RL。你实际上希望把大部分资源分配给研究。
中间是这段开发期。如果你预训练一个五万亿参数的模型，你必须在 RL 中做多少次 rollout？一个五万亿参数模型的 rollout 比一个一万亿参数模型大 5 倍。如果你想做同样多的 rollout——也许更大的模型样本效率高 2 倍——那么你现在需要 2.5 倍的 RL 时间才能让模型变得更聪明。
或者你可以对更小的模型做 2 倍时间的 RL。你在大模型上仍然会有 25% 的差距，大模型样本效率高 2 倍，做 X 次 rollout。但更小的模型，也就是一万亿参数的那个，虽然样本效率较低，却做了两倍的 rollout，而且仍然更快完成。你更早拿到模型，做了更多 RL，然后你可以用那个模型来帮你构建下一个模型、帮你的工程师训练，并实现所有这些研究想法。
这个反馈循环实际上在任何情况下都偏向更小的模型，无论你的硬件是什么。再看 Google，他们确实部署了所有主要实验室中最大的生产模型，也就是 Gemini Pro。它比 GPT-5.4 更大。它比 Opus 更大。Google 这么做是因为他们拥有单一极性的算力集合。几乎全是 TPU。
而 Anthropic 要应对 H100、H200、Blackwell、Trainium 以及各代 TPU。OpenAI 目前主要应对 Nvidia，但也在走向同时拥有 AMD 和 Trainium。像 Google 这样的算力集群可以围绕一个更大的模型进行优化。他们可以利用 scale-up 域中的一千块芯片，让 RL 时间快得多，从而让这个反馈循环可以很快。
但归根结底，孤立来看，你几乎总是想选择更小的模型，它能更快地被 RL、更早地部署到研究和开发中。你可以构建下一个东西并获得更多效率收益。你拥有这种复利效应：做出一个更小的模型，它能更早地部署到研究和开发中。我在训练上花费更少算力，因为我能够把更多算力分配给研究。这种能够越来越快地进行研究的复利效应，可能带来更快的起飞。这正是所有这些公司想要的：尽可能快的起飞。
为什么没有更多对冲基金在做 AGI 这笔交易？
Dwarkesh Patel：
好，一个辛辣的问题。你解释过 SemiAnalysis 卖这些电子表格。你总是指出，六个月或一年前，你警告过人们内存短缺。现在你在告诉人们洁净室短缺，以及未来工具短缺。为什么 Leopold 是唯一一个用你的电子表格赚到惊人财富的人？其他所有人都在干什么？
Dylan Patel：
我认为有很多人以很多方式在赚钱。Leopold 开玩笑说，他是我唯一一个告诉我我们的数字太低的客户。其他所有人都告诉我我们的数字太高，几乎令人厌烦。无论是某个超大规模厂商说：“嘿，那个别的超大规模厂商，他们的数字太高了”，而我们会说：“不，就是这样。”他们会说：“不不不，这不可能”，等等等等。当我们和超大规模厂商或 AI 实验室合作时，你最终不得不通过所有这些事实和数据说服他们，事实上，不，那个数字并不太高，那是对的。最终，有时他们要花六个月才意识到，或者一年之后。
其他客户，在交易方面，也使用我们的数据。我的业务大约 60% 是产业界。所以是 AI 实验室、数据中心公司、超大规模厂商、半导体公司，整个 AI 基础设施供应链。但我们 40% 的收入来自对冲基金。我不会评论我们的客户是谁，但很多人使用这些数据。问题只是你如何解读它，然后你认为它之外还有什么？
我得说，Leopold 基本上是唯一一个总是告诉我我的数字太低的人。有时候他的数字太高，有时候我的数字太低。但总的来说，我认为其他人在做这件事。你可以看看整个对冲基金领域，看看他们的 13F 文件，会发现他们持有的，也许不完全是 Leopold 持有的，因为问题始终是什么是最受约束的东西。什么是会最超出预期的东西？
那才是你真正试图利用的：市场中的低效。某种意义上，我们的数据通过让正在发生的事情的基础数据更准确，使市场变得更高效。许多基金确实基于公开存在的信息进行交易……我不认为 Leopold 是唯一这样做的人。不过我认为他对 AGI 起飞有最强的信念。
Dwarkesh Patel：
对，但这些押注不是关于 2035 年会发生什么。你所做的押注——至少从我们能看到的包括 Leopold 在内的不同基金的公开回报来看——是关于过去一年发生了什么。过去一年的东西可以用你的电子表格来预测。关键在于买入明年的电子表格。
Dylan Patel：
它们不只是电子表格。还有报告。有对数据的 API 访问。有大量数据。
Dwarkesh Patel：
但你明白我的意思吗？这不是关于某种疯狂的奇点事件。这是关于，你是否买入内存短缺？
Dylan Patel：
只有当你相信 AI 会以巨大方式起飞时，你才会买入内存短缺。内存短缺，很大程度上是基于……至少对湾区那些思考基础设施的人来说，这是显而易见的。随着上下文长度变长，KV 缓存会爆炸式增长，所以你需要更多内存。然后你算一下账。
你还必须对供应链有大量了解：正在建什么晶圆厂、正在建什么数据中心、多少芯片，以及所有这些事情。我们非常紧密地追踪所有这些不同的数据集，但归根结底，需要有人完全相信这会发生。
一年前，如果你告诉别人内存价格会翻两番，而智能手机销量会在之后一两年内下降 40%，人们会说：“你疯了。那永远不会发生。”除了少数人确实相信这一点，而那些人的确交易了内存。
而且人们确实这么做了。我不认为 Leopold 是唯一买入内存公司的人。当然，他在仓位规模和布局以及做事方式上比一些人，也许是大多数人做得更好。我不想评论谁的回报是多少，但他肯定做得很好。其他人也做得非常好。
哇，你让我第一次变得圆滑了。不不，你没事。我觉得这很好笑。我在当外交官，而通常我是很辛辣的。
台积电会把苹果踢出 N2 吗？
Dwarkesh Patel：
好，最后来几个快问快答。如果你说在内存、逻辑等方面，N3 主要会是 AI 加速器，但接下来是 N2，目前主要是苹果……未来，我猜 AI 也会想上 N2。如果英伟达、亚马逊和谷歌说：“嘿，我们愿意为 N2 产能付很多钱”，台积电能把苹果踢出去吗？
Dylan Patel：
我认为这里的挑战在于芯片设计时间线需要很长时间，所以那是一年多以后的事，而两纳米上的设计也是一年多以后的事。
真正会发生的是，英伟达和所有其他公司会说：“嘿，我们要预付产能费用，你们要为我们扩产。”也许台积电会拿走一点利润，但不会太多。他们不会完全把苹果踢出去。他们会做的是，当苹果订购 X 时，他们可能会说：“嘿，我们预计你只需要 X 减一，所以我们就给你 X 减一。”然后那部分弹性产能，苹果就有点被卡住了。
传统上，苹果一直会超额订购 10%，然后在一年中削减 10%。有些年份他们用满了整个 10%。销量会因季节和宏观环境而变化。
我不认为台积电会把苹果踢出去。我认为苹果在台积电收入中的占比会越来越小，因此台积电迎合他们需求的相关性会降低。台积电最终可能会开始说：“嘿，你们必须预订明年的产能，甚至两年后的，而且必须预付资本开支费用”，因为那是英伟达、亚马逊和谷歌正在做的事。
Dwarkesh Patel：
我想知道是否值得深入具体数字。我手头没有任何数字。未来几年，苹果在 N2 中占多少比例，对比 AI？
Dylan Patel：
今年苹果拥有即将被制造的 N2 的大部分。AMD 有一点点。他们在尝试提前做一些 AI 芯片和 CPU 芯片。有一点，但大部分是苹果。
再往后一年，随着其他人开始爬坡，苹果仍然接近其中一半，但之后会大幅下降，就像 N3 那样，他们曾占一半。当我说 N2 时，这包括 A16，它是 N2 的一个变体。随着时间推移，这些节点将占大多数。
同样有趣的是，传统上苹果一直是第一个采用某个制程节点的。2 纳米实际上是他们第一次不是第一个。嗯，华为除外。华为在 2020 年及之前，曾与苹果一起是第一个，但他们都在做智能手机。现在，在 2 纳米上，AMD 试图在同一时间段内做出一个 CPU 和一个 GPU 芯粒，并用先进封装把它们封装在一起，与苹果同步。这对 AMD 来说是一个巨大风险，可能导致潜在延迟，因为这是全新的制程技术。很难。但归根结底，这是他们想要下的赌注，以便比英伟达更快扩张，并试图击败他们。
随着我们向前推进，当我们转向 A16 节点时，那里的第一个客户甚至不是苹果。是 AI。随着我们向前推进，这会变得越来越普遍。苹果不仅不会是第一个采用某个节点的，也不会是新节点产量的多数。然后他们就会像任何老客户一样。
因为台积电的资本开支规模不断膨胀，但苹果的业务没有以同样速度增长，他们就成了一个越来越不相关的客户。他们也会削减订单，因为供应链中的东西在把他们挤出去，无论是封装、材料、DRAM 还是 NAND。这些成本都在上升。他们可能无法把所有成本转嫁给客户，因为消费者不够强劲。最终你会陷入这种困境：他们不再是台积电历史上那样的最好伙伴。
Dwarkesh Patel：
你认为如果华为能使用 3 纳米，他们会做出比 Rubin 更好的加速器吗？
Dylan Patel：
有可能，是的。华为也是第一个做出 7 纳米 AI 芯片的。他们第一个做出 5 纳米移动芯片，但他们也是第一个做出 7 纳米 AI 芯片的。华为昇腾比 TPU 早两个月，比英伟达的 A100 早四个月，我想是这样。
那只是转向一个制程节点。这并不意味着软件或硬件设计或所有其他东西。但华为可以说是世界上唯一一家拥有所有支柱的公司。华为有顶尖的软件工程师。华为有顶尖的网络技术。事实上，那历史上是他們最大的业务。他们有顶尖的 AI 人才。
此外，在英伟达之外，他们实际上有更好的 AI 研究人员。在英伟达之外，他们有自己的晶圆厂。而且在英伟达之外，他们有自己的终端市场，销售词元之类的东西。华为能够获得最顶尖、最顶尖的人才。英伟达也能，但集中度没那么高，而华为在中国有更大的人才池。
很有理由认为，如果华为拥有台积电，他们会比英伟达更好。中国在一些英伟达不容易进入的领域有优势。不只是规模，还有某些光学技术，中国实际上非常擅长。
我认为非常合理的是，如果 2019 年华为没有被禁止使用台积电，华为早就已经超越苹果成为台积电最大的客户。华为在网络、计算、CPU 以及所有这些方面都有巨大份额。他们会继续获得份额，而且他们很可能会是台积电最大的客户。
机器人和台湾风险
Dwarkesh Patel：
哇。那太疯狂了。我最后有一个随机问题问你。Elon 采访的另一部分是机器人。如果人形机器人比人们预期更快起飞，如果到 2030 年有数百万个人形机器人到处跑，每个都需要本地计算，你对这意味着什么有什么想法？那需要什么条件？
Dylan Patel：
人们在机器人上部署的 VLM 和 VLA 有很多困难。但在某种程度上，你不需要把所有智能都放在机器人里。不那样做会高效得多。因为在云端，你可以批处理以及做所有这些事情。
你可能想做的是，让大量规划和更长时程任务由云端一个能力更强、以非常高批量运行的模型来决定。然后它把这些指令推送给机器人，机器人在每个后续动作之间进行插值。或者它被给一个命令，比如“嘿，拿起那个杯子”，然后机器人上的模型可以拿起杯子。在拿起的过程中，重量和力度之类的东西可能必须由机器人上的模型决定，但不是所有东西都需要这样。它可以说“嘿，那是耳机”，而云端的超级模型可以说“我知道这些耳机是索尼 XM6”，这不是 Dwarkesh 的广告位，但……
Dwarkesh Patel：
我当时就想，这家伙为什么这么卖力地推销这个东西。它就放在桌上。我们一起采访Satya的时候，它就挂在他脖子上。他是拿了索尼的钱吗？
Dylan Patel：
很遗憾，没有。但不管怎样，它可能会说，“嘿，这个头带很柔软，这是它的重量”，以及诸如此类的东西。然后机器人上的模型可以没那么智能，接收这些输入，执行动作。它可能每秒都会收到云端模型的指令，或者每秒十次，取决于动作的频率。但其中很多都可以卸载到云端。
否则，如果你在设备上完成所有处理，我认为成本会更高，因为你无法批处理。第二，你无法拥有云端那样的智能水平，因为云端的模型就是会更大。第三，我们处在一个半导体短缺的世界，你部署的任何机器人都需要尖端芯片，因为机器人的功耗状况真的很糟糕。你需要它低功耗且高效，而突然间你就是在把本该用于AI数据中心的电力和芯片，放进机器人里。所以如果你部署数百万个人形机器人，那200吉瓦就会变少。
Dwarkesh Patel：
我觉得这非常有意思，因为关于未来，人们可能没有意识到的一点是，智能在物理意义上会有多集中。现在有八十亿人，他们的算力就在他们脑子里，在他们身上。
在未来，即使有物理上分布在世界各地的机器人——显然，知识工作将以集中化的方式在数据中心完成，有数十万甚至可能数百万个实例——你所描述的未来是一个更多集中化思考和集中化计算驱动着世界上数百万机器人的未来。这是关于未来的一个有趣事实，我认为人们可能没有意识到。
Dylan Patel：
我认为Elon认识到了这一点，这就是为什么他去不同的地方找他的芯片。他和三星签了这份巨额协议，在德克萨斯州制造他的机器人芯片，因为我个人认为他觉得台湾风险巨大。
正因为如此，以及资源集中在台湾，把他的机器人芯片放在德克萨斯州意味着拥有一条不那么受限的独立供应链。除了英伟达新推出的LPU之外，实际上没有人在三星生产AI芯片。他们下周就要发布它，但我们是在前一周录制的这期节目。
Dwarkesh Patel：
这期节目周五播出。
Dylan Patel：
哦，这期节目会更早播出。太棒了。他们下周要发布这款基于三星制造的新AI芯片，但那是英伟达最近的进展。那是那里唯一的其他AI需求，而在台积电，一切都在竞争。他既获得了地缘政治的多元化，也为他的机器人获得了供应链的多样性，而且他不必像那些数据中心天才们那样，去争夺那种无限支付意愿的产能。
Dwarkesh Patel：
最后一个问题，关于台湾。如果我们相信工具是最终的瓶颈，那么仅仅制定一个计划，在台积电被封锁或发生类似情况时，把台积电的每一位工艺工程师空运出来，我们能在多大程度上降低台湾在AI半导体供应链中地位的风险？还是说你仍然需要运出EUV工具，而每台工具需要多架飞机装载，根本不切实际？
Dylan Patel：
如果你把所有工艺工程师都运出来，并假设局势足够激烈以至于你摧毁了那些晶圆厂，那么现在没有人拥有台湾的所有晶圆厂了，这是一个巨大的风险。
这些工具实际上使用了大量在台湾制造的半导体。这是一个蛇咬自己尾巴的梗，因为如果没有来自台湾的芯片，你就无法制造这些工具，而如果没有台湾的工具，你就无法使用这些芯片。显然那里有一些多元化。光刻工具中并没有使用超级先进的芯片，但归根结底，确实存在某种龙咬自己尾巴的情况。
仅仅把所有工程师运出来并炸毁晶圆厂，就意味着在垂直整合方面，中国拥有比世界其他地区更强的半导体供应链，因为台湾已经被移除了。你拥有了所有的技术诀窍，但你必须要在，比如说，亚利桑那州或台积电所在的任何地方复制它。要建成台积电多年来积累的全部产能，将需要很长时间。
所以你极大地减缓了美国和全球GDP。不仅仅是增长，你大幅缩减了GDP，而且你面临更大的问题。你增加算力的边际能力几乎降为零。不是到本十年末每年数百吉瓦，假设台湾出了什么事，现在你在英特尔和三星加起来可能只有10吉瓦，或者20吉瓦。这根本不算什么。
现在突然间，你真的在AI领域引发了一些疯狂的动态。当然，你拥有所有现有产能，但与正在扩张的产能相比，现有产能相形见绌。
Dwarkesh Patel：
好的。Dylan，这太精彩了。非常感谢你来参加播客。
Dylan Patel：
谢谢你邀请我。今晚见。
本文由 AI 翻译。