【行业资讯】为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了-今日报

OpenAI发布了一篇研究论文，深入剖析了LLM幻觉的根源，指出当前主流的训练与评估体系，是导致幻觉问题的核心驱动因素之一。

【资料图】

研究认为，现行评估标准在无形中奖励了模型的猜测行为，而非鼓励其在面对不确定性时承认知识的局限，幻觉的起源于预训练，来自于“下一次的预测”，幻觉并非神秘现象，其产生的统计学机制，以及它如何在现有评估体系中被奖励，都是可以被理解的。

幻觉现象的本质

幻觉，指的是语言模型生成的看似合理但实际上错误的陈述。这种现象即便在处理简单问题时也可能发生。

评估体系的“应试陷阱”

研究指出，幻觉之所以难以根除，很大程度上是因为评估方法设定了错误的激励导向。大多数评估体系以准确率为核心指标，这种方式鼓励模型去猜测，而不是诚实地表达不确定性。

数据佐证：高准确率并不意味着低错误率

为了具体说明这一点，论文引用了GPT-5系统卡中关于SimpleQA评估的数据，对两款模型进行了比较：

幻觉的起源：来自“下一个词预测”

这些高度具体的事实性错误最初从何而来？研究指出，根源在于模型的预训练方式。语言模型通过在海量文本中预测下一个词来进行学习。这个过程中，数据本身没有“真/假”标签，模型只能学习语言的流畅模式。

关于幻觉的五大常见误区

误区一：幻觉是不可避免的。

研究发现：并非如此。语言模型完全可以选择在不确定时拒绝回答，从而避免幻觉。

误区二：只要准确率达到100%，幻觉就能被消除。

研究发现：准确率永远无法达到100%。因为现实世界中总存在一些本质上无法回答或信息不足的问题。

误区三：避免幻觉需要极高的智能，只有大模型才能做到。

研究发现：对小模型而言，认识到自身的局限反而更容易。一个不了解某个领域的模型可以轻易地说我不知道，而一个略知一二的模型则需要更复杂的计算来判断自身回答的置信度。

误区四：幻觉是语言模型中一个神秘的技术故障。

研究发现：幻觉并非神秘现象。其产生的统计学机制，以及它如何在现有评估体系中被奖励，都是可以被理解的

误区五：只要有一个好的幻觉评估标准，问题就能解决。

研究发现：即使存在专门的幻觉评估标准，在数百个以准确率为核心的传统评估标准面前，其影响力也微乎其微。

未来的方向：改革评估体系

研究报告最终的结论是，解决幻觉问题的关键在于对现有评估体系进行根本性改革。研究人员倡议，新的评估标准应该对自信的错误答案施加比承认不确定性更重的惩罚。只有当整个行业的“计分规则”发生改变，才能真正激励开发者采纳能够减少幻觉的技术和策略。