Gary Marcus · 2025-02-09

深度学习的困境与混合模型的未来方向

摘要

本文深入剖析了深度学习在医学影像、自动驾驶等高风险领域面临的可靠性瓶颈，质疑了单纯依靠扩大模型规模实现通用人工智能的路径。作者提出，将符号操作与深度学习结合的神经符号混合模型才是人工智能发展的正确方向，并以 AlphaGo、AlphaFold2 等成功案例佐证。文章还回顾了发表后的行业验证，指出纯 LLM 扩展放缓、幻觉与推理错误持续存在等现象均印证了其核心论断。

内容框架与概述

文章以 Geoffrey Hinton 在 2016 年预言深度学习将在五年内取代放射科医生为引，揭示了深度学习从高期望到现实落差的发展轨迹。尽管深度学习在图像识别、照片标记等低风险任务上表现出色，但在放射学诊断、自动驾驶等需要高精度和可靠性的场景中仍然力不从心——特斯拉自动驾驶系统未能识别手持停车牌的人就是典型案例。

文章核心论点围绕"规模化困境"展开。OpenAI 提出的规模化理论认为，随着数据和计算量的增加，模型性能将持续提升。然而作者指出，当前的测试方法无法衡量模型的深度理解能力，所谓的"缩放定律"不过是经验性概括而非物理定律。最新研究也表明，模型在毒性、真实性、推理和常识等维度上的表现并未随规模扩大而显著改善。

作者进而追溯符号操作在计算机科学中的基础地位，主张将其与神经网络结合。AlphaGo 和 AlphaFold2 的成功已经证明混合架构的可行性，而 DeepSeek R1 模型中明确包含的"基于规则的奖励系统"更是神经符号技术在工业实践中的体现。

文章最后以发表后的五项关键观察作为验证：纳德拉、安德森、苏茨克维尔等业界领袖认同纯 LLM 扩展不足以通向 AGI；GPT-5 迟迟未能面世；Deep Research 等新系统仍受困于幻觉和推理错误；多家公司在 LLM 赛道上的拥挤竞争和价格战表明该技术正在商品化。这些趋势全面印证了文章的核心预判。

核心概念及解读

深度学习的可靠性瓶颈：深度学习在处理低风险任务时游刃有余，但在医学诊断、自动驾驶等高风险领域暴露出严重的不可靠性。系统对"异常"情况缺乏鲁棒处理能力，GPT-3 等语言模型也容易生成错误和误导性信息。这揭示了当前深度学习架构在理解层面的根本缺陷，而非简单的工程问题。

规模化定律的局限：OpenAI 等机构笃信的"更大模型等于更好性能"的缩放定律，实质上只是特定条件下的经验观察，而非普适规律。数千亿美元的投入并未催生出从 GPT-4 到 GPT-5 的全面飞跃，测试时计算（如 o1）也仅在编码和数学等特定领域有所改进，而非全面提升。这一现实迫使业界重新思考技术路线。

神经符号混合模型：将深度学习的模式识别能力与符号操作的结构化推理能力相结合，是文章提出的核心解决方案。AlphaGo、AlphaFold2（获诺贝尔奖）以及 DeepSeek R1 的基于规则奖励系统均是混合架构的成功范例。这种融合有望解决纯深度学习系统在逻辑推理和事实准确性方面的固有缺陷。

幻觉与推理错误的顽疾：即使是最新的 Deep Research 系统，仍然存在捏造数据和时间推理错误等问题。正如 Derek Lowe 在《科学》杂志中所指出的，LLM 输出以"流畅自信的语气"呈现一切内容，使得错误极难被非专业人士识别——这是当前 AI 系统"最有害的特征之一"。这些问题是纯统计学习范式的结构性局限。

LLM 商品化趋势：当纯 LLM 的扩展回报递减时，多个团队会在相近的性能水平上竞争，形成"顶端拥挤"。DeepSeek 以低成本匹配 OpenAI o1 的表现加速了价格战，LLM 从新颖技术演变为大宗商品。这一趋势对生成式 AI 的商业前景构成深远影响，也从市场层面验证了纯规模化路线的不可持续性。