什么是 噪声敏感度（Noise Sensitivity）？
噪声敏感度（Noise Sensitivity）是一项 RAG 评估指标，用于衡量检索内容诱发错误答案主张的频率，常把相关分块内部噪声与无关分块噪声分开计算。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
区分相关噪声与无关噪声
当前 Ragas 协议提供 Relevant 与 Irrelevant 两种模式。Relevant Noise 是可归因于同时包含有用证据的相关分块之错误主张；Irrelevant Noise 是可归因于参考无关分块的错误主张。标签不是文本自身的永久属性，而是由问题、参考、证据粒度和蕴含规则共同决定。
用成对扰动获得因果证据
静态归因只能说明关联，不能证明干扰项造成错误。应固定问题、参考、模型、提示词和必要证据，只添加、删除或移动一个受控干扰项，运行 Clean/Noisy 成对实验，再比较主张错误、拒答行为、引用支持与延迟。新增错误只在带噪条件出现并能追溯到注入片段时，修复方向更明确。
分别诊断检索器与生成器
RAGChecker把错误主张拆成来自相关分块、无关分块和任何检索分块之外三类，从而区分盲信上下文与自行幻觉。测试集不应只加入随机无关段落，还要覆盖过期、互相矛盾、近重复、来源权威不匹配、多语言和经过权限过滤的干扰项。
主要特点
- 统计可归因于检索上下文的错误回答主张
- 区分相关分块内部噪声与无关分块噪声
- 依赖可信参考和显式主张归因协议
- 可以通过干净与带噪上下文的成对扰动增强证据
- 不同于检索精确率，因为生成器可能忽略噪声
- 应与正确性、忠实度、拒答和引用指标联合报告
常见用途
- 测试无关检索片段是否改变原本正确的答案
- 发现总体相关文档中的误导陈述
- 比较重排序、去重、过滤和上下文顺序调整
- 把已知带噪上下文事故转为回归测试
- 为不可信证据诱发的错误主张设置发布上限
示例
Loading code...常见问题
噪声敏感度等于上下文精确率吗？
不等于。上下文精确率评估相关结果是否排在无关结果之前；噪声敏感度评估检索内容是否诱发错误回答主张。生成器可能忽略带噪列表，也可能复制相关分块中的一条误导陈述。
噪声敏感度越低越好吗？
在常见主张错误协议中是，因为它表示回答主张中错误且可归因于指定噪声类型的比例。仍需记录实现和 Mode，因为自定义稳健性测试可能采用相反方向或不同分母。
RAG 中的相关噪声是什么？
相关噪声是位于总体相关分块中的误导或错误内容。某个分块包含一项有用证据，并不代表其中每句话都可信，因此不能只用分块级相关标签判断生成安全。
团队应该如何测试噪声敏感度？
固定问题、必要证据、提示词、模型和解码设置，运行干净与带噪成对案例，每次加入一个受控干扰项，再比较主张正确性、引用支持、拒答行为和延迟。
低噪声敏感度能证明 RAG 系统质量好吗？
不能。检索器仍可能漏掉必要证据，回答可能离题或不完整，模型也可能通过全部拒答降低错误。还需联合上下文召回率与精确率、正确性、忠实度、拒答正确性、引用质量和任务成功率。