Andrej Karpathy · 2025-10-18

Andrej Karpathy 论人工智能的下一个十年

摘要

本文综合分析了著名人工智能专家 Andrej Karpathy 的核心观点，他基于在 AI 领域近二十年的经验，对当前的人工智能发展、未来趋势及社会影响提出了深刻而务实的见解。Karpathy 认为，实现功能完备的智能体需要十年而非一年，当前的模型在智能、多模态和持续学习等方面存在显著的认知缺陷。他将强化学习的奖励机制比作通过吸管吸取监督信号，效率低下且充满噪声，并指出依赖模型自身生成的数据训练会导致模型坍塌问题。在 AI 工程实践方面，他认为当前的编码智能体对于新颖、复杂的任务来说更像是残次品，其作用更接近于高级自动补全，而非真正的程序员替代品。他强调从演示到可靠产品的巨大鸿沟，预示着高风险领域的自动化将是一个漫长过程。

内容框架与概述

Karpathy 首先对行业内普遍存在的智能体之年过度乐观预测进行了校准，提出了智能体十年的说法。他详细分析了当前智能体无法被广泛应用的核心原因，包括智能水平不足、多模态能力有限、缺乏持续学习等关键瓶颈。这些缺陷使得目前的模型无法被雇佣为实习生，因为它们在实际工作场景中表现不可靠。

在回顾 AI 范式演进时，Karpathy 分享了他亲身经历的数次地震式转变。他从深度学习的兴起谈起，以 AlexNet 的成功为标志，深度学习从少数人研究的小众领域转变为 AI 的主流。他反思了早期智能体探索中的一次失误，即 2013 年左右以 Atari 游戏为代表的深度强化学习热潮。他认为对游戏的过度关注是错误的路径，真正的智能体应能处理现实世界的知识工作。LLM 的成功揭示了必须首先通过大规模预训练获得强大的表征能力和语言基础，然后才能在其之上构建有效的智能体。

关于 AI 与动物智能的辨析，Karpathy 指出动物是演化的产物，其大脑中集成了大量内置硬件，而 AI 是通过模仿人类在互联网上留下的数据进行训练的，更像是数字世界中的幽灵或灵魂。他将 LLM 的预训练过程比作一种蹩脚的演化，这是在当前技术条件下能够实现的、为智能体提供一个知识和能力起点的最实用方法。他提出了一个重要的研究方向，即设法剥离模型的知识和记忆，保留其纯粹的认知核心。

在深入剖析 LLM 的内部工作方式及其根本性限制时，Karpathy 指出模型表现出的智能在很大程度上依赖于其上下文窗口。上下文窗口中的信息就像人类的工作记忆，模型可以非常直接地访问，而存储在模型权重中的知识更像是对互联网文档的模糊回忆。他直言强化学习是糟糕的，并将 RL 的奖励机制比作通过吸管吸取监督信号，这种方法噪声极大。让模型通过反思来学习面临着模型坍塌的风险，模型生成的任何内容其分布都是悄然坍塌的，看似合理但缺乏多样性和熵。

核心概念及解读

智能体十年：Karpathy 提出这一概念旨在对行业内过度乐观的时间表进行校准。他认为虽然当前出现了一些令人印象深刻的早期智能体，但要实现真正可靠、能像人类实习生或员工一样工作的智能体，仍有大量艰巨工作尚待完成。这一预测基于他在 AI 领域近二十年的从业经验和直觉，他认为当前面临的问题虽然棘手且困难，但可以解决，综合来看十年是一个比较合理的时间框架。

表征能力：这是 LLM 成功的关键所在，也是构建有效智能体的先决条件。早期在游戏环境中过度依赖强化学习之所以是一次失误，正是因为当时的神经网络缺乏强大的表征能力，导致智能体在稀疏奖励的环境中无法有效学习，只会燃烧森林般的计算资源。必须首先通过大规模预训练获得强大的表征能力和语言基础，然后才能在其之上构建有效的智能体。

模型坍塌：这是指当持续用模型自身生成的数据进行训练时，模型会变得越来越糟，最终完全丧失能力。模型生成的任何内容其分布都是悄然坍塌的，它们看似合理，但缺乏多样性和熵，仅仅占据了所有可能输出中的一个极小流形。人类通过与他人交流等方式不断寻求外部熵来避免类似的思想固化。

九的进军：Karpathy 用这一概念来形容将 AI 技术从演示转化为产品的难度。产品化的过程是九的进军，即实现 90% 的可靠性只是第一步，之后每提升一个数量级都需要付出同等甚至更多的努力。自动驾驶从 1980 年代就有演示，但至今仍未完全实现，这揭示了巨大的演示到产品差距，尤其是在安全攸关的领域。

知识坡道：这是 Karpathy 在其教育项目 Eureka 中核心理念的一部分。教育的核心是技术性的，即为复杂的知识构建平滑的学习路径，确保学习者在任何时候都面临恰到好处的挑战，既不感到无聊也不感到挫败。他追求的是最大化学习者每秒钟获得的顿悟感，这要求教学内容经过精心设计，从最简单的第一性原理出发，逐步引入复杂性。