虫鱼的AI万花筒识别模型幻觉
大模型"自信地说错话"不是 bug，是它工作方式的自然结果——理解这一点，才能不被它误导。
什么是幻觉
大语言模型从一开始就没有"事实"数据库，它做的事情是预测"下一个最可能出现的字"。当问题涉及训练数据里罕见或互相冲突的内容时，模型会把不同来源的措辞拼在一起，给出听起来合理但细节错误的答案。这种现象叫"幻觉"（hallucination）。它包括编造不存在的论文、虚构历史事件、张冠李戴的人名、把代码库调用说成另一个函数，等等。模型越是自信流畅地回答，越有可能是幻觉——因为流畅只代表"它见过很多类似的句子"。
哪些问题最容易触发幻觉
三类高发问题。第一是冷门事实：模型在训练数据里见过的内容少，于是用相近的内容填充——例如冷门历史人物的生卒年份、某小众药物的副作用。第二是精确数字：模型对"大概"很擅长，对"精确到个位"很差，引用论文时常常捏造页码或卷号。第三是带前提的问题：用户假设了一个错误前提，模型会顺着这个前提继续编，而不是质疑前提本身。"听说 X 公司收购了 Y 公司，能介绍下细节吗"——X 和 Y 都没发生，模型也会给出细节。
怎么识别模型的自信
没有简单办法，但有三条经验。第一，模型越具体越要怀疑：泛泛的回答往往对，给出具体人名、年份、论文 DOI 时最容易出错。第二，模型不会主动说"我不知道"——除非你显式要求它这么做，并且对置信度低的情况给出"我无法确定"。第三，对关键事实至少打开两个独立来源核对，不要用同一个 AI 搜索去验证另一个 AI 搜索的结果——它们可能用相同的训练数据，犯相同的错。
RAG 减少了幻觉，但没消灭
检索增强生成（RAG）让模型先查资料再回答，能把幻觉率显著降低。但它没有消灭幻觉：检索可能漏掉该找的文档；模型可能在"资料不足"时仍然按自己的偏好编；切碎的文档片段可能让模型把不同段落的事实拼到一起。RAG 的价值是让模型"有据可依"，但"资料说的一定对吗"是另一层问题。把 RAG 输出当作"第一稿"而不是"终稿"，对每一条会对外发布的结论都人工核对，是目前最稳的工作流。