AI会一本正经胡说:给输出加校验环节

AI 最危险的时候,不是它明确说“我不知道”,而是它用完全肯定的语气给出一个不存在的数字、一条查不到来源的法规、一段看似严谨但逻辑断裂的推论。如果你直接把它当成事实用出去,代价可能是一次对外事故。对抗幻觉,靠的不是“让它别瞎说”,而是在流程里加上校验环节。

幻觉为什么无法靠提示词根除

大模型的本质是根据上下文预测下一个词,它优化的是“这句话像不像真的”,而不是“这句话是不是真的”。所以在信息不足时,它会用最符合语言模式的方式把空白填满——这就是为什么编造出来的内容往往非常流畅。

提示词的约束能降低概率,但无法消除:你越要求“只输出确定内容”,它越可能把不确定的东西包装成确定的表述。真正可靠的方案,是把不确定性显性化,并用人或工具来兜底。

三道校验环节

  1. 事实校验:拆分可验证项。把 AI 输出里所有数字、日期、人名、法规条款、引用来源单独列成一张清单,逐条去权威来源核对。核不了的,要么删掉,要么标注为待确认,绝不能默认正确。
  2. 逻辑校验:看论证结构。追问三个问题:结论和论据之间是因果还是相关?有没有未声明的假设?反例是否被考虑了?很多幻觉不体现在单个事实上,而体现在推理链的跳跃上。
  3. 边界校验:让它自我标注。要求 AI 在给出每条结论时同时说明依据来源。有依据的和推测的必须分开标注。这一步把灰色地带变成显性判断,方便你决定哪些内容可以采信。

用检索给模型“喂真话”

更根本的做法,是不让模型依赖自己的记忆来回答事实性问题,而是把相关资料检索出来放进上下文,再要求它基于给定材料作答。这就是检索增强的常见思路:把“你知道什么”换成“根据以下材料回答”。

但要注意,材料本身错了,输出一样会错。所以检索方案解决的是“无据可依地编造”,不能替代对输入材料的来源审查。

一个案例

一位内容运营用 AI 快速生成行业稿件,一次稿件里出现了一个训练数据中的旧数字,与最新的公开年报差了近三成。文章发布后被读者指出,账号公信力受损。之后他把流程改成三步:让 AI 只负责结构和语言,所有数据项由自己从官方来源填入;不确定的信息必须标注“待核实”;发布前做一轮逐条核对。生成速度确实慢了一些,但返工和风险大幅降低。

常见误区

用“你确定吗”来验证。很多模型在被质疑后会顺着你的话改口,这本身就是幻觉的一部分,不能作为核对手段。

把流畅等同于准确。语言质量与事实正确性完全无关,读起来越顺的内容越需要核对。

只校验数字,不校验结论。事实都真,推理却可能错。两层都要过。

把校验责任交给模型自己。校验是人的职责,工具只能辅助。谁发布,谁负责。

行动建议

从下一次使用 AI 开始,把“输出”和“可用”分成两个步骤:先让 AI 产出,再给它过三道校验——事实清单逐条核、逻辑链条逐个问、置信度逐项标。同时,把事实性问题都改成“基于以下材料回答”。坚持一段时间,你会发现 AI 从不可信的写手,变成了可靠的初稿工具。

标签:#, #, #