LLM 幻觉解析：它们是什么以及为何会发生

为什么 LLM 幻觉在当下很重要

大型语言模型（LLM）是用海量文本训练的 AI 系统，能够生成和转换语言：回答问题、起草邮件、总结文档、写代码等等。它们如今被嵌入搜索引擎、办公工具、客户服务聊天、开发者工作流，甚至敏感领域的决策支持系统中。

随着这些模型成为日常工具的一部分，它们的可靠性不再是理论问题。当 LLM 给出听起来精确和权威但实际上错误的答案时，人们往往倾向于相信它——尤其是在它节省时间或确认了他们希望为真的信息时。

从“错误答案”到“幻觉”

AI 社区通常把这些自信、具体但不正确的回答称为幻觉。这个术语强调两点：

• 模型不仅仅是小错；它可能会捏造事实、来源或事件。
• 输出可以在内部上连贯和流畅，产生强烈的理解错觉。

这种错觉正是 LLM 幻觉危险的根源。比如在搜索结果中捏造引用、代码助手建议并不存在的 API、或医疗聊天机器人把虚构的剂量“作为事实”陈述，当用户据此行动时都会造成严重伤害。

为什么现在尤为重要

LLM 被用于会让人们：

• 跳过独立核验，因为答案听起来很专业。
• 将 AI 输出直接整合到工作流（代码、合同、报告）中。
• 在自己缺乏领域知识时依赖 AI 的结论。

然而目前没有模型是完全准确或完全诚实的。即便是最先进的系统也会发生幻觉，有时是在很简单的问题上。这不是罕见的边缘情况，而是生成模型工作方式的根本行为。

理解这一限制——并围绕它设计提示、产品和政策——对于安全负责任地使用 LLM 而不对其言论过度信任至关重要。

什么是 LLM 幻觉？

一个可行的定义

LLM 幻觉是指那些流利而自信，但在事实上错误或完全捏造的输出。

更精确地说：当大型语言模型生成的内容未以现实或其应依赖的来源为依据，却将其呈现为真实时，就发生了幻觉。模型并不是以人类意义上的“撒谎”；它是在跟随数据中的模式，但仍会产生虚构的细节。

幻觉与普通不确定性的区分

将幻觉与普通的不确定性或无知区分开有助于理解：

• 不确定/无知： 模型承认自己不知道，或给出谨慎、有保留的回答。例如：“我不确定”、“我无法访问该数据”，或提供多个可能性而不把某一项断定为事实。
• 幻觉： 模型给出一个具体且权威听起来的答案，这个答案是错误或无法验证的，并且没有表现出怀疑。它“填补空白”而不是承认空白。

两者都源自相同的预测过程，但幻觉更危险，因为它们听起来值得信赖，却是错误的。

幻觉可能的表现形式

幻觉不限于纯文本解释，可能以多种形式出现，包括：

• 叙述文本： 虚构的传记、从未发生的事件，或错误归属的引用。
• 引文与参考： 看起来合理但不存在的论文、URL、判例或标准。
• 代码： 使用不存在的函数、错误的 API，或依赖虚构库的代码段。
• 数据与统计： 编造的数字、虚假的表格、合成的调查结果或伪造的基准数据。

使幻觉尤为棘手的是，语言、格式和结构往往看起来与高质量的专家输出完全相同，除非经过仔细核验，否则很容易相信它们。

大型语言模型实际上如何生成文本

大型语言模型（LLM）不会“思考”或去检索事实。它们是基于模式的机器，被训练去以通常听起来合理的方式续写文本。

一个简要、非技术性的训练视角

训练从大量文本开始：书籍、文章、代码、网站等。模型并没有接收“这是真的”或“这是错误的”之类的标签。

相反，它反复看到一些句子并隐藏其中一小部分，然后被要求猜测缺失的词。例如：

"Paris is the capital of ___"

模型调整其内部参数，使得它的猜测更接近训练文本中出现的真实词语。这个过程在不同上下文中发生数十亿次。随着时间推移，模型内化了语言和世界在文本中表达的统计规律。

下一个 token 的预测与概率分布

从技术上讲，模型在给定对话中之前所有 tokens 的条件下预测下一个 token（可以是词的一部分、完整词或标点）。

每一步，它输出一个关于所有可能下一个 token 的概率分布：

• "Paris" 可能得到 0.82 的概率
• "London" 得到 0.05
• "city" 得到 0.03
• 以此类推

解码算法随后从这个分布中采样或选择实际的下一个 token。重复此过程，token 一步步地组成完整句子和较长的答案。

优化的是可行性，而非真实性

关键目标是：匹配训练中看到的文本类型。默认情况下没有独立机制去核验事实、查询数据库或应用逻辑。

因此模型被优化为产生听起来合理的补全，而不是保证其所说内容正确、最新或可验证。如果训练数据中经常出现某种误解，模型也会重现该误解。

规模、模式与“知识”的局限

因为 LLM 在巨量数据上训练，它们极擅长捕捉一般模式：语法、常见推理模板、典型回答以及概念之间的关联。

但它们并不以精确、可检索的事实目录形式存储信息。它们的“知识”散布在内部权重中，呈统计趋势。这就是为什么它们能生成流利、上下文感知的文本，同时仍偶尔发明看似正确但实际上错误的细节。

幻觉发生的核心技术原因

幻觉不是随机故障；它们直接来源于大型语言模型的构建与训练方式。

1. 训练数据的缺漏、噪声与过时性

模型学习自从网络抓取、书籍、代码等组成的庞大语料。这些数据有若干问题：

• 缺漏： 许多主题代表性不足（小众领域、非英语资源、专有知识）。当你询问这些话题时，模型会从微弱信号中插值，且更可能编造内容。
• 噪声与错误： 训练集包含垃圾信息、过时博客、错误的论坛回答与相互矛盾的主张。模型会学习人们表达事实的方式，包括错误的表述。
• 信息过时： 训练在某一时间点冻结。之后发生的任何变化（法规、公司细节、研究发现）模型都会基于旧的模式猜测，因此可能把过时信息当作当前真相。

当模型遇到属于其弱数据区域的问题时，它仍必须预测文本，因此会生成流利的猜测。

2. 目标不匹配：似然性 vs. 真实性

基础训练目标是：

给定前文 token，预测在训练分布中最可能出现的下一个 token。

这会优化语言的可行性，而非事实准确性。如果训练数据中最可能的下一个句子是一个自信但错误的陈述，模型就会被“奖励”去生成它。

因此模型学会发出听起来正确且有支持的文本，即使其并无依据。

3. 解码策略与采样效应

生成时的解码算法会影响幻觉发生率：

• 贪婪解码（Greedy decoding） 在每步选择最可能的 token。它能降低随机性，但可能在早期锁定错误并产生过度自信、重复的错误。
• 温度采样（Temperature） 缩放概率以使输出更随机或更确定。较高的温度鼓励创造性、多样的文本，但也增加偏离事实的可能性。
• Top-k / nucleus（top-p）采样 限制候选 token 到一小部分概率较高的选项。不恰当的参数会让模型过于确定（重复固定但可能错误的答复）或过于随机（发明生动但无依据的细节）。

解码并不会增加知识；它只是重塑如何探索已有的概率分布。分布中的任何薄弱都会被激进的采样放大为幻觉。

4. 对齐与 RLHF 的副作用

现代模型通过如“来自人类反馈的强化学习（RLHF）”等技术进行微调。标注者奖励那些有帮助、安全、礼貌的回答。

这引入了新的压力：

• 回答压力： 人类评分者通常偏好完整、有用的答案而非诚实地承认不确定。经过多次训练步骤，模型学会自信地给出某个答案通常比说“不知道”更好。
• 风格重于认识论： RLHF 强烈塑造语气与格式（清晰解释、逐步推理），但只会间接影响真实性。模型变得非常善于表现推理，即便其底层内容是推测性的。

对齐微调在很多方面大大提高了可用性和安全性，但它也可能无意中鼓励自信猜测。帮助性与校准不确定性之间的这种张力是幻觉的核心技术驱动因素之一。

常见的幻觉模式与类型

LLM 的幻觉通常遵循可识别的模式。学会发现这些模式会让你更容易质疑输出并提出更好的后续问题。

1. 捏造的事实、引用、来源与统计

最明显的失效模式是自信的捏造：

• 事实： 模型发明日期、姓名或定义，听起来合理但无事实依据。
• 引用： 将经过润色的句子归于名人而无可验证来源。
• 统计： 给出看起来精确的数字（百分比、样本量、误差幅度），但既无引用也无法复现。
• 来源： 提到“研究”、“报告”或“调查”却没有可追踪的细节。

这类回答常常显得权威，因此如果用户未核实，危险尤甚。

2. 虚构的参考与假 URL

LLM 常生成：

• 不存在的论文或书籍，带有现实感的标题、看似合理的作者和熟悉的期刊名。
• 伪造的 URL，结构看起来正确（例如含有 /research/ 或 /blog/ 路径），但指向无关或不存在的页面。

模型是在匹配引用和链接通常的样式，而不是查询数据库或在线资源。

3. 归因错误、来源混淆与错误时间线

另一种模式是把多个来源混合在一起：

• 把两项不同研究合并成一项虚构研究。
• 将某项发现归于错误的人或机构。
• 把事件放错时间，例如将某项发明放在错误的年代或颠倒事件的因果顺序。

当训练数据包含许多相似故事或重叠主题时，这种情况常发生。

4. 捏造的推理步骤与错误因果链

LLM 也会在如何或为什么某事发生上产生幻觉：

• 提出一连串推理步骤，其中中间步骤微妙地错误。
• 用简洁但错误的因果故事来解释结果。
• 生成看似连贯的推导或证明，但包含隐蔽的逻辑错误。

因为文本流利且内部一致，这类推理幻觉比简单的事实错误更难察觉。

即便模型改进，幻觉为何仍存在

更大、更好的模型确实会降低幻觉频率——但它们仍会发生，有时以更令人信服的方式出现。原因大多根植于 LLM 的工作原理。

更大模型 = 更好的猜测，但并不保证真实

模型规模、数据量与训练的扩展通常会提高基准性能、流利度与事实性。但核心目标仍旧是在给定前文时预测下一个 token，而不是核验证世界的真相。

因此更大的模型：

• 更精确地匹配训练数据中的模式；
• 更平滑地填补上下文中的空白；
• 生成更连贯、细节更多的答案。

这些优势也会让自信但错误的答案听起来更有说服力。模型更擅长“听起来正确”，但并不擅长判断自己何时错误。

从模式中泛化过度

LLM 内化了诸如“维基百科的语气”或“一篇研究论文引用的样式”之类的统计规律。当被问到新颖或稍微偏离训练经验的问题时，它们常常：

• 将模式扩展到原本不适用的情形；
• 把多个示例混合成一个看起来合理的合成体；
• 为了维持连贯性而捏造缺失部分。

这种过度泛化正是它们在起草和头脑风暴类任务中很有用的原因——但当现实与学习到的模式不符时，它也正是产生幻觉的驱动因素。

置信度校准：自信 vs 正确

大多数基础模型校准不好：它们赋予答案的概率并不可靠地反映该答案是否真实。

模型可能因为某个续写在对话和风格上“很合适”而选择高概率的续写，而不是因为有强有力的证据。没有明确的机制去说“我不知道”或核查主张时，高度自信通常只是意味着“很符合模式”，而非“事实正确”。

域偏移：当提示与训练上下文不匹配时

模型在非常混杂的文本上训练。你的提示可能与模型实际“见过”的分布不同：

• 小众领域（专业医学、法律、工程）
• 新的事实（近期研究、变化中的法规）
• 不寻常的格式（自定义架构、专有术语）

当提示偏离熟悉模式时，模型仍必须生成回答。缺乏精确匹配时，它会从最接近的模式即兴发挥。这种即兴往往显得流利，但可能完全是杜撰的。

总之，随着模型改进，幻觉并不会消失——它们会变得更少但更精致，因此更需要被发现和管理。