大模型背后的算力账本：GPT、Claude 与 Gemini 是如何训练和服务的

摘要

这期视频是一场关于前沿大模型工程系统的黑板课。Reiner Pope 从批量大小、内存带宽、计算吞吐、KV 缓存、MoE、机架互连和流水线并行讲起，解释为什么模型 API 会有不同价格，为什么长上下文更贵，为什么模型架构越来越受硬件物理条件约束。核心观点很直接：大模型不是只靠算法在跑，而是在算力、内存、网络、成本之间做极限平衡。

内容框架与概述

视频首先从一个很实际的问题切入：为什么 Claude、Codex、Cursor 等服务可以提供更贵但更快的模式。Reiner 的答案是批量大小。推理服务不是一次只服务一个用户，而是把许多用户请求打包成一个批次，让权重读取成本被摊薄。批次太小，GPU 每次都要读取巨大权重，成本高得吓人；批次变大后，单位 token 成本下降，但延迟会受到批处理节奏、内存带宽和计算吞吐的共同限制。

第二部分转向模型架构和硬件布局。Reiner 用 MoE 模型解释为什么总参数和活动参数要分开看：一次生成 token 时只激活部分专家，所以计算量取决于活动参数，但内存容量和通信压力仍然受总参数影响。专家通常被分散到不同 GPU 上，这要求机架内部有高带宽、全对全通信能力。问题到了机架之间就麻烦了，因为跨机架网络慢得多，线缆、供电、冷却、重量和空间都会变成架构边界。

第三部分讨论训练、强化学习、长上下文和 API 价格。Reiner 认为，今天的前沿模型可能会远远超过 Chinchilla 最优训练量，因为部署阶段的推理成本也要算进总账。一个更小但过度训练的模型，可能比一个更大但训练较少的模型更便宜地服务用户。长上下文价格上涨，则来自 KV 缓存带来的内存读取压力。视频最后还谈到神经网络与密码学的相似性，例如雪崩效应、可逆网络和训练内存优化。

核心概念及解读

批量大小，Batch Size。它指一次推理中同时处理多少个请求或序列。批量越大，读取模型权重的成本越容易被摊薄，单位 token 成本越低。但它不是越大越好，因为批次太大会增加等待时间，也会遇到计算吞吐和 KV 缓存读取的限制。

屋顶线分析，Roofline Analysis。这是一种粗暴但有用的工程估算方法：看系统到底卡在计算速度，还是卡在内存带宽。Reiner 用它解释大模型推理的底层账本：生成一个 token 时，既要做矩阵乘法，也要把权重和 KV 缓存从内存中读出来。哪个更慢，哪个就是瓶颈。

KV 缓存，KV Cache。模型生成新 token 时，需要回看前面上下文中每个 token 的内部表示，这些表示就是 KV 缓存。上下文越长，KV 缓存越大，内存读取压力越高。所以长上下文不是免费午餐，它会实实在在吃掉带宽和显存。

混合专家模型，Mixture of Experts。MoE 的思路是模型里有很多专家，但每次只激活其中一部分。这样可以让模型总参数很大，同时控制每次推理的计算量。它的代价是通信复杂度上升，尤其是专家分布在不同 GPU 或不同机架时，网络互连会成为关键瓶颈。

流水线并行，Pipeline Parallelism。它把模型的不同层放在不同机架或 GPU 组上，让请求像流水线一样一层层传过去。它能缓解显存容量问题，但在训练中会引入复杂同步和气泡损失，在推理中也不总是最优。它的价值取决于模型层数、机架带宽、通信模式和实际负载。

Chinchilla 最优与过度训练，Chinchilla Optimal and Overtraining。Chinchilla 缩放律给出一种模型参数量和训练 token 数之间的经典平衡。但 Reiner 提醒，真实前沿模型还要考虑推理成本和强化学习成本。为了让模型部署起来更便宜，实验室可能会用更多数据把较小模型训练得更充分，这就是相对于 Chinchilla 的过度训练。

文章基本信息

字段	内容
原标题	How GPT, Claude, and Gemini are actually trained and served – Reiner Pope
作者	Dwarkesh Patel
发布日期	2026 年 4 月 30 日

访谈要点详情

一、为什么更贵的快速模式能更快

访谈从一个很现实的问题切入：为什么 Claude、Codex、Cursor 这类产品会有快速模式，价格可能是普通模式的几倍，但速度只是快两三倍。Reiner 的核心回答是：主要不是魔法，而是批量大小。大模型推理不是一个用户一个用户单独跑，而是把多个用户请求拼成一个 batch，同时送进 GPU。batch 越大，读取模型权重的固定成本越容易被摊薄，单位 token 成本越低。

但快也有底线。因为无论你怎么调度，每次推理都要把模型权重从内存读进芯片，还要读取上下文对应的 KV 缓存。内存带宽用满之后，延迟就不能无限下降。花更多钱可以优先上车，或者用更小 batch 换低延迟，但不可能花一百倍价格就获得一百倍速度。

Reiner 还顺手回答了慢速模式的问题。所谓 Claude Code Slow 或 Codex Slow，在理论上可以让用户等久一点，把 batch 填大一些，降低成本。但这只能摊薄权重读取成本，不能摊薄每个请求独有的 KV 缓存和计算成本。所以慢速模式能省一点钱，但不会把价格打到极低。

二、屋顶线分析：大模型推理到底卡在哪里

Reiner 使用 roofline analysis，也就是屋顶线分析，来估算 Transformer 在 GPU 集群上的运行极限。这个方法很朴素：一边看计算吞吐，也就是 FLOPs；一边看内存带宽，也就是每秒能搬多少字节。模型推理的耗时基本由两类东西决定：矩阵乘法的计算时间，以及权重和 KV 缓存的读取时间。

这里的关键判断是：大模型不是永远卡在算力，也不是永远卡在内存。短上下文、大 batch 时，计算可能成为瓶颈；长上下文时，KV 缓存读取越来越重，系统会转向内存带宽瓶颈。换句话说，模型跑得慢，不一定是 GPU 不够会算，也可能是数据搬不动。

这个观点很重要，因为它解释了很多表面现象：为什么长上下文贵，为什么推理价格不是线性下降，为什么硬件厂商疯狂堆 HBM 带宽，为什么模型架构要围绕内存和通信重新设计。AI 的很多产品定价，其实背后就是这笔很硬的物理账。

三、KV 缓存：长上下文为什么吃钱

访谈里反复讲到 KV cache。自回归模型生成新 token 时，不只是看当前 token，它还要回看过去所有 token 的内部表示。这个历史表示就存在 KV 缓存里。每生成一个新 token，都要读取过去上下文对应的 KV 缓存。上下文越长，读的东西越多。

所以长上下文贵，不是厂商随便涨价。Reiner 后面用 API 价格反推模型成本时提到，Gemini 在超过 20 万 token 后价格上升，可以从 KV 缓存随上下文长度增加的内存成本来理解。计算成本本身对上下文长度的依赖可以近似忽略，但内存读取成本会随着上下文增长而上升。

他还进一步推导出，每个 token 的 KV 表示可能只有几千字节量级，这说明现代模型可能用了很多压缩或共享机制，比如不同层共享全局上下文，或者使用更高效的注意力结构。也就是说，长上下文能力不是简单把缓存堆大，而是模型架构、显存容量、带宽、注意力机制一起优化出来的结果。

四、batch size 与规模经济：为什么大厂更有优势

访谈里有一个非常关键的推导：对于前沿 MoE 模型，最佳 batch size 可能在几千个序列量级。Reiner 估算，batch size 大概要大于稀疏因子的三百倍。以 DeepSeek 类模型为例，如果总专家数和激活专家数形成大约 8 倍稀疏性，那么最佳 batch 可能就是两三千个序列。

这听起来不大，但真正要看的不是并发用户数，而是每秒 token 流量。如果一个 batch 每 15 到 20 毫秒跑一次，2000 个序列就对应大约每秒 12.8 万 token。Reiner 说，要真正具备规模竞争力，至少要达到 Gemini 流量的千分之一量级。这里的意思很狠：前沿推理不是小作坊游戏，没有足够请求量，你连经济性都跑不出来。

这也解释了为什么大模型服务天然有平台效应。用户越多，batch 越容易填满，硬件利用率越高，单位 token 成本越低。小公司就算拿到同样 GPU，如果没有足够流量，也未必能以同样成本提供服务。

五、MoE：大模型为什么越来越稀疏

访谈花了很大篇幅讲 Mixture of Experts，也就是混合专家模型。MoE 的核心思想是：模型有很多专家，但每次 token 只路由到其中一小部分专家。这样模型可以拥有非常大的总参数量，同时每次推理只激活较少参数，计算成本被控制住。

Reiner 用 DeepSeek 举例：模型可能有很多专家，但每个 token 只激活其中一部分。这样一来，活动参数决定计算成本，总参数决定内存容量和通信布局。这个区分非常关键。稠密模型里，总参数和活动参数基本是一回事；MoE 里，它们被拆开了。

访谈也提醒，稀疏性不是白捡。更高稀疏性可以减少计算，但会增加总参数、显存容量需求和通信复杂度。经验研究显示，在某些早期 MoE 论文中，增加专家数量确实能改善质量，但收益不一定惊人。比如 64 个专家、3.7 亿活动参数模型可以达到 13 亿稠密模型水平，但这是用大量总参数换来的。

六、专家并行：MoE 怎样铺到 GPU 机架上

MoE 的工程难点在于布局。Reiner 解释，标准做法是专家并行，也就是不同专家放在不同 GPU 上。路由器决定 token 去哪些专家，这会产生通信流量。问题是，这种通信模式是全对全的：任意 GPU 都可能需要和任意 GPU 通信。

在单个 Blackwell 机架内，这种全对全通信还比较合适，因为 NVLink 和 NVSwitch 能提供高带宽连接。但一旦跨机架，通信就慢很多。Reiner 提到，横向扩展网络通常比机架内部网络慢约 8 倍。于是，如果一个 MoE 层跨两个机架，一半 token 可能要跨机架找专家，通信马上变成瓶颈。

这说明一个很硬的现实：模型架构不是纯数学选择，它被机架、线缆、交换机、显存、散热这些东西压着走。MoE 为什么适合某些硬件，为什么大厂要扩大 scale up domain，根子就在这里。

七、机架不是抽象概念，而是物理极限

访谈里非常有意思的一段，是 Reiner 解释 rack，也就是机架。一个现代 AI 机架通常能放几十个 GPU 或 XPU，大小受供电、重量、散热和布线限制。听起来像粗活，实际上是前沿 AI 的地基。

NVIDIA 从 Hopper 到 Blackwell，再到 Rubin，scale up domain 变大，一个原因就是从托盘式形态转向机架式形态。要把更多 GPU 连接成一个高速互连域，不只是多放几张卡那么简单，还要处理线缆密度、连接器密度、弯曲半径、背板、重量和冷却。Reiner 说现代机架已经在把这些物理因素推到很极端的位置。

这部分很有启发：AI 算力竞争最后落到一堆非常朴素的工程限制上。不是论文里写个更大模型就完事，机架里到底塞不塞得下线，供电扛不扛得住，冷却压不压得住，都能决定模型能不能跑。

八、为什么 Gemini 可能占过硬件优势

主持人问到，GPT 4 之后好像很久没有出现参数量大很多的模型，是不是大家一直在等足够大的机架容量，来容纳五万亿参数级模型和大量 KV 缓存。Reiner 的回答倾向于肯定这个方向：Hopper 时代容量有限，而 Blackwell 级别部署可以带来 10 到 20 TB 量级的扩展容量，这足以容纳更大模型和 KV 缓存。

他还提到，Google 很早就有很大的 scale up domain，这可能解释了 Gemini 在某些阶段显得领先。也就是说，Gemini 的优势未必只来自模型算法，也可能来自 Google TPU 集群和互连域长期积累。

这里有个很值得记的判断：活动参数受计算成本限制，总参数受扩展规模限制。也就是说，你能激活多少参数，主要看算力；你能拥有多少总参数，主要看显存容量和互连规模。

九、流水线并行：为什么有时好用，有时被嫌弃

除了专家并行，访谈还讲了 pipeline parallelism，也就是流水线并行。思路是把模型不同层放到不同机架上，一个机架跑前几层，下一个机架跑后几层。这样可以把大模型拆开，解决容量问题。

Reiner 指出，流水线并行适合跨多个机架，因为它不像 MoE 专家并行那样需要大量全对全通信。MoE 层内部要把 token 分发给很多专家，而流水线跨机架时只是把激活结果从一个阶段传给下一个阶段。只要每个阶段层数足够多，跨机架通信就不会成为主要瓶颈。

但访谈也提到 Ilya 曾说现在我们知道不应该做流水线并行。这里的含义不是流水线永远没用，而是不同场景代价不同。训练时流水线会有气泡、同步和调度问题；推理时，如果目标是低延迟，流水线也可能不理想。Reiner 更偏工程判断：并行策略要顺着模型的自然维度切，比如专家维度、层数维度，而不是硬搞复杂切法。

十、scale up 与 scale out：容量问题和带宽问题不是一回事

访谈中有一个很细但很关键的区分：流水线可以解决容量问题，但 scale up 更能解决带宽问题。也就是说，如果模型太大，一个机架装不下，可以把层拆到多个机架，容量问题缓解了。但如果你希望低延迟地读取权重和 KV 缓存，就需要更多 GPU 在同一高速互连域内并行提供内存带宽。

这解释了为什么硬件厂商和模型公司这么关心 scale up domain。不是因为大家只想把显存堆大，而是因为内存带宽会决定长上下文、低延迟和推理吞吐。随着模型更智能、上下文更长，带宽会越来越像水管，管子细了，水池再大也没用。

这也是前沿 AI 系统的典型复杂性：一个参数变大，另一个瓶颈马上冒出来。容量、带宽、计算、通信，没有哪个能单独赢。

十一、强化学习让模型可能远超 Chinchilla 最优

访谈后半段转向训练经济学。Chinchilla scaling law 说，在给定训练计算量下，模型大小和训练 token 数有一个比较好的平衡。但 Reiner 认为，现在前沿模型不只是优化训练成本，还要优化训练加推理的总成本。

过度训练的意思是：从训练计算角度看，也许更大模型训练更划算；但如果要长期服务用户，一个较小模型经过更多 token 训练，推理成本可能更低。尤其是强化学习出现后，预训练模型还要用于 RL 生成样本，之后再用于最终用户推理，所以预训练投入的价值会被更多下游使用摊薄。

Reiner 和主持人尝试用公开流量、token 生成速度和传闻训练 token 数做粗略反推，得出一个很大胆的估计：前沿模型可能相对于 Chinchilla 最优训练 token 数过度训练约百倍。当然他也强调这是估算，误差很大，但这种第一性原理推断非常有启发性。

十二、API 价格可以反推模型架构和成本

这一期的一个核心趣味是：你可以从公开 API 价格里推断模型背后的工程结构。比如长上下文价格上涨多少，可能对应 KV 缓存读取成本增加多少；输入输出 token 价格差异，可能反映预填充和解码的成本差异；快速模式价格，也可能反映 batch size 和排队延迟之间的权衡。

这不是说能准确猜出某家公司模型细节，而是能得到数量级判断。Reiner 的方法一直是，把复杂系统简化成几个主要项：权重读取、KV 读取、矩阵乘法、batch size、上下文长度、带宽、FLOPs。只要数量级对，就能解释很多商业定价。

这对理解 AI 公司很重要。很多人看价格表，只觉得贵或便宜。但工程视角会发现，价格表其实暴露了系统的影子：哪里卡内存，哪里卡算力，哪里在摊销固定成本，哪里在为长上下文额外收费。

十三、稀疏注意力和长上下文架构

访谈里也谈到 dense attention 和 sparse attention。对于密集注意力，KV 读取成本基本随上下文长度线性增长。上下文翻倍，相关内存压力也会明显上升。

而稀疏注意力可以改变这个增长规律。Reiner 提到 DeepSeek 发表过稀疏注意力机制，有些论文会让相关项变成平方根级别，而不是线性级别。这里的意思是，长上下文模型要想真正经济，不能只靠堆硬件，还要靠注意力结构变化。

所以长上下文竞赛不是谁把窗口开得大谁赢。真正难的是：你能不能在长窗口下保持质量、成本和延迟都还能接受。否则窗口是有了，用户一用就贵，或者一用就慢。

十四、神经网络与密码学的趋同演化

最后一部分比较跳，但很有意思。主持人提到 Reiner 曾写过一篇博客，讲神经网络和加密协议在结构上有相似之处。两者都需要把所有输入的信息充分混合。加密协议希望把有结构的信息搅乱到像随机一样，神经网络则相反，它试图从看似混乱的数据里提取结构。

这个类比不是说神经网络就是加密算法，而是说二者都在做高维信息混合。哈希函数追求雪崩效应，一个输入位变化会让输出大范围变化；神经网络也希望信息跨层、跨 token、跨通道充分交互，否则模型无法捕捉复杂关系。

这一段把话题从硬件拉回到架构思想：很多看似不同的计算系统，在面对信息混合、压缩、可逆性和高维变换时，会长出相似的结构。一个是把结构打散，一个是把结构找回来，方向相反，但工具味道相近。

十五、整场访谈的主线判断

这场访谈最重要的主线是：前沿大模型不是单纯靠更大参数、更好算法、更大数据赢，而是被一个完整工程栈约束。模型架构、GPU 机架、内存带宽、KV 缓存、batch size、API 价格、RL 训练、长上下文、专家并行，这些不是分散话题，而是一张网。

Reiner 反复展示的思维方式是，把 AI 系统看成物理机器。生成一个 token，不是抽象智能在说话，而是权重被读取、矩阵被乘、KV 被搬运、token 被路由、GPU 之间通信、机架带宽被占用。理解这些，你才能解释为什么模型会做成 MoE，为什么长上下文贵，为什么 Gemini 可能有硬件优势，为什么小公司很难复制大厂推理经济性。