2025-09-07

为何语言模型会产生幻觉

摘要

OpenAI最新研究论文指出，语言模型产生幻觉（自信地生成错误答案）的根本原因在于当前的训练和评估体系奖励猜测行为而非承认不确定性。准确率导向的评估标准激励模型"蒙答案"而非说"我不知道"。研究表明幻觉并非不可避免，模型可以通过在不确定时选择弃权来减少错误。解决方案是改革评估指标，对自信的错误答案施加更大惩罚，并对表达不确定性给予部分分数。

内容框架与概述

文章开篇定义了幻觉现象——语言模型生成看似合理但实际错误的陈述，并以询问论文作者生日和博士论文题目为例，展示了即使是简单问题也会产生多个自信但错误的答案。

核心论述分为两部分。第一部分剖析评估机制如何助长幻觉：当前主流评估只计算准确率，类似于多选题测试中猜对得分而空白不得分的规则，这激励模型猜测而非承认无知。文章通过gpt-5-thinking-mini与o4-mini的对比数据说明，后者准确率略高但错误率高达75%，而前者通过52%的弃权率将错误率控制在26%。第二部分解释幻觉的技术根源：预训练阶段的下一词预测任务中，拼写和括号匹配等遵循一致模式的规则可随规模扩展而消除错误，但低频任意事实（如某人的生日）无法从模式中推断，因此不可避免地导致幻觉。

文章最后澄清了五个常见误解：幻觉不会因准确率提升而完全消除（因某些问题本质上无法回答）、幻觉并非不可避免（模型可以弃权）、避免幻觉不一定需要更大模型（小模型更容易知道自己的局限）、幻觉机制已被统计学理解、单一幻觉评估无法对抗数百个准确率评估的影响。