什么是 答案忠实度？
更新于
答案忠实度是一项 RAG 评估属性，用于在明确的主张拆分与蕴含判断协议下，衡量生成答案中的事实主张有多大比例得到模型实际收到的上下文支持。
快速了解
| 创建时间 | 2023 年由 RAGAS 框架系统化用于 RAG 评估 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
先固定计分单元，再讨论阈值
可复现评估必须声明哪些内容算事实主张、复合句如何拆分、限定条件和数值条件是否保留、裁判能查看哪些证据，以及拒答或空答案如何处理。基础公式是受支持主张数除以受评主张总数。如果拆分策略不稳定，同一个答案会被不同评估器分配不同分母。
忠实度不等于正确性或引用质量
忠实回答可能复述过时来源；事实正确的回答也可能因为依赖模型记忆而没有忠实使用给定证据。仅出现引用同样不够，链接可能无法蕴含相邻主张，未引用主张还会影响引用完整性。来源质量、检索覆盖、答案正确性、引用支持度和任务实用性应分别评估。
用人工标签校准裁判与发布门禁
人工审查、自然语言推断模型和 LLM 裁判都能标注证据支持关系，但模糊表达、长上下文、提示词顺序和裁判偏好会产生误差。应建立分层人工标注集，测量一致性与误报漏报模式，固定评估器版本，并按问题类型检查分数分布。发布门禁还应结合最小样本量和关键无依据主张规则。
主要特点
- 依据实际提供的证据评估答案主张，而不是依赖模型置信度
- 明确主张单元与支持判定，使计分分母可以审计
- 把生成阶段的事实锚定与检索覆盖和来源真实性分开
- 可使用人工审查、蕴含模型或经过校准的 LLM 裁判
- 对主张拆分、证据范围和评估器版本高度敏感
- 应保留无依据主张明细，而不只报告语料级平均分
常见用途
- 发现 RAG 回答中额外添加的无依据事实
- 在固定检索上下文下比较提示词或模型
- 为证据型企业助手设置发布门禁
- 从生产链路中抽样执行主张级审查
- 区分生成器回归与检索器失败
示例
Loading code...常见问题
答案忠实度等于事实正确性吗？
不等于。忠实度判断主张能否由生成器看到的上下文推出；正确性判断主张是否符合可信参考或真实世界。来源真实性重要时，一套完整评估需要同时覆盖二者。
答案忠实度如何计算？
典型协议先提取原子事实主张，再把每条标为受到或未受到上下文支持，最后以受支持主张数除以全部受评主张数。报告应保留主张级标签，因为平均分会隐藏具体失败语句。
没有事实主张的答案应该如何计分？
不要默认记为满分。应把指标标记为不适用，或交给单独定义的拒答与空答案策略处理，否则系统可能通过输出更少、更模糊的内容来提高平均分。
LLM 裁判能可靠评估答案忠实度吗？
它可以扩大评估规模，但输出仍是估计值。需要用代表性人工标签校准，固定裁判提示词和模型版本，按问题类型监控一致性，并人工复核高风险及接近阈值的失败样本。
答案忠实度高就代表 RAG 系统质量好吗？
不能单独得出这个结论。系统可能忠实依据不完整或错误证据，遗漏重要事实，或者没有完成用户任务。还需结合上下文召回率与精确率、来源质量、答案正确性或任务成功、引用指标、延迟和成本。