什么是 AI幻觉？
AI幻觉是模型相对于明确真值或证据边界，自信生成错误或虚假内容的现象。生产评估应把回答拆成原子声明，分别判定为支持、矛盾、证据不足或不适用，而不是根据语言流畅度给整段回答贴标签。
快速了解
| 全称 | AI 幻觉 |
|---|---|
| 创建时间 | 该术语在 2020-2022 年随着 LLM 的普及而在 AI 领域流行 |
工作原理
AI 幻觉在 NIST AI 600-1 中称为 Confabulation，它是事实性风险，不是文风信号。可复现的检测需要先声明任务真值模式、来源权威、证据版本、有效时间和访问范围，再提取原子声明、绑定规范证据、给出有界判定并执行任务级决策策略。被证据反驳与证据不足必须分开：缺少证明不能推出声明为假。检索增强生成可以提供最新且可引用的证据，但仍存在检索漏召回、来源过时、证据冲突、生成偏移和引用不成立等失败模式。降低温度、结构化输出、模型一致和自报置信度可以改善复现或分流，却不能证明事实。高影响系统还需要经过校准的 Judge、适当拒答、合格人员复核，以及独立于语言事实性的外部操作授权。
主要特点
- 边界相关：事实判定必须声明真值来源、版本、时间、司法辖区或证据契约
- 声明级评估：先把混合回答拆成原子事实声明，再逐条判定
- 四态分离：支持、矛盾、证据不足和不适用不能混成一个分数
- 证据可追踪：判定保留规范来源 ID、版本、权威级别和引用锚点
- 风险敏感：发布、修订、拒答或复核取决于声明重要性和任务损失
- 系统级治理：语料、检索、排名、生成、引用和决策都可能引入故障
常见用途
- 检测生成回答中虚构的引用、实体、日期、数量或引语
- 将 RAG 回答忠实度与检索覆盖和外部正确性分开评估
- 把证据不足的重要声明路由到拒答或合格人员复核
- 在模型、Prompt、检索器、语料库或 Judge 变更前执行发布门禁
- 使用版本化证据和决策轨迹调查事实性事故
示例
Loading code...常见问题
被证据反驳与不受支持的声明有什么区别？
被证据反驳表示现有证据支持一个与声明不兼容的结论。不受支持或证据不足表示指定证据快照无法确认声明；它在快照外仍可能为真。因此系统应补充检索、拒答或复核，而不是自动判成虚假。
如何量化大模型幻觉？
先提取并标注原子声明，再报告矛盾和证据不足的精确率与召回率、引用精确率与覆盖率、正确性、忠实度、拒答精确率与召回率、选择性风险和回答覆盖率。所有指标都应公开分母并按风险切片呈现。
RAG 能彻底消除幻觉吗？
不能。RAG 能提供证据、来源血缘和更新知识，但语料可能错误或过时，检索可能漏掉关键证据，生成器也可能歪曲或忽略上下文。语料、检索、排名、忠实度、引用和发布决策需要分别评估。
降低温度能减少大模型幻觉吗？
降低温度会减少采样变化，让运行更容易复现，但它不会验证声明。确定性模型仍可能反复生成同一个错误说法。事实性评估必须独立于采样设置，并使用明确证据或真值标准。
可以用 LLM Judge 自动检测幻觉吗？
LLM Judge 可以扩展声明提取和证据比较，但也可能漏声明、误读证据，并受到位置或表达风格影响。应强制类型化判定与证据 ID，用合格人员标签校准，按任务切片监控，并保留确定性的发布规则。