2025-04-13

OpenAI内部访谈：GPT-4.5预训练的极限探索

摘要

本文基于OpenAI CEO Sam Altman与GPT-4.5核心技术团队的深度访谈，系统回顾了这款大模型从两年前启动到训练完成的艰辛历程。文章揭示了实现相比GPT-4约10倍智能提升的宏伟目标背后，团队如何通过长达一年多的精心规划、大规模风险解除运行以及前所未有的ML与系统深度协同设计来应对挑战。访谈生动展现了规模化带来的系统工程极限——硬件故障从罕见变为灾难性频发、多集群状态管理的复杂性、训练初期"边运行边学习边修复"的痛苦模式。同时，文章强调了Scaling Laws再次得到强有力验证，更低的测试损失确实转化为更广泛的智能提升，但行业也正进入"数据受限"新阶段，数据效率算法创新成为突破瓶颈的关键。这次经历不仅积累了宝贵的系统工程经验，更将曾经的前沿技术（GPT-4级别训练）降级为5-10人小团队即可完成的常规任务。

内容框架与概述

文章开篇通过访谈背景引入，指出GPT-4.5项目启动于两年前，其核心目标是利用即将上线的新一代计算集群实现相比GPT-4约10倍的智能提升。这一雄心勃勃的目标注定了它将是一项需要投入大量人力、时间和计算资源的庞大工程，团队在正式训练开始前就进行了长达一年多的前期规划与准备工作。这一阶段的关键在于"风险解除"——从已知稳定的GPT-4配置出发，谨慎分层地引入新特性，并极其关注这些改动在不同计算规模下的表现，确保小规模实验中观察到的优势能够持续扩展至目标规模。这一过程极大地推动并迭代了OpenAI对Scaling Laws方法论的理解。

文章主体部分深入剖析了GPT-4.5研发中的两大核心挑战：系统工程极限与机器学习实践的不确定性。在系统工程方面，将训练规模提升至GPT-4.5量级后，小规模下罕见或可控的问题因基数效应演变成灾难性频发事件，硬件故障种类和数量远超预期，甚至出现了供应商都未曾遇到的极端情况。同时，多集群环境的引入带来了新的复杂性，如跨集群状态管理问题。在机器学习方面，实际训练损失曲线常常偏离基于Scaling Laws的理论预测，诊断这些偏差成为关键任务。访谈中分享的一个具体调试案例生动展现了大规模训练中定位问题的极端困难——一个潜伏在PyTorch库sum函数中的数据依赖bug，导致了多种看似无关的低概率正确性问题，这个bug伴随了训练过程约40%的时间才被最终定位并修复。

文章的后半部分聚焦于GPT-4.5项目带来的关键学习与未来展望。首先，项目再次强有力验证了Scaling Laws的基本原则——更低的测试损失（特别是在严格隔离的留出数据集上测得的困惑度）确实能转化为更广泛、更深入的智能。其次，团队观察到在GPT-4.5及之后，行业开始从"计算受限"进入"数据受限"新阶段，即使拥有更多算力，模型性能提升也开始受到高质量数据量或数据利用效率的限制，这一转变极大地激发了对数据效率算法的研究热情。此外，文章还强调了度量指标的核心作用，团队主要依赖困惑度作为关键指标，而避免使用人类可读的测试作为主要优化目标，因为这容易导致过度拟合测试模式而非提升真正泛化智能。

核心概念及解读

Scaling Laws（扩展定律）：指模型性能与计算资源、数据量和参数规模之间存在的可预测关系。GPT-4.5的成功再次强有力验证了这一定律——更低的测试损失（特别是在严格隔离的留出数据集上测得的困惑度）确实能转化为更广泛、更深入的智能提升，模型展现出的许多细微能力正是这种"压缩即智能"规律的体现。

Co-design（协同设计）：指机器学习团队与系统团队从训练启动前6-9个月开始的深度协作。这种合作贯穿始终，针对GPT-4.5的特定功能需求和系统挑战进行专门的大规模风险解除运行，确保ML算法与系统基础设施在目标规模下能够高效、稳定地协同工作，甚至需要ML层面做出调整以适应系统层面的约束或优化。

Derisking（风险解除）：指在正式训练开始前进行的大量验证性运行。团队从已知稳定的配置（如GPT-4设置）出发，谨慎地、分层地引入新特性，并极其关注（甚至到了"偏执"的程度）这些改动在不同计算规模下的表现，确保小规模实验中观察到的优势能够持续扩展至目标规模，避免"小尺度有效，大尺度失效"的陷阱。

Data Bound（数据受限）：指在GPT-4.5及之后，行业开始从过去的"计算受限"进入新阶段，即使拥有更多算力，模型性能的提升也开始受到高质量数据量或数据利用效率的限制。这一转变极大地激发了对"数据效率"算法的研究热情，当前算法在数据效率上与人类相比仍有100,000倍到1,000,000倍的差距。

Monorepo Loss：指在OpenAI内部代码库这个严格隔离的留出数据集上测得的损失值。作为衡量模型压缩能力和泛化性能的关键指标，它与模型最终在各种任务上的表现具有惊人的相关性和预测力，成为了衡量模型进展的重要标尺，比人类可读的测试更能避免过度拟合问题。