什么是 拒答正确性(Refusal Correctness)?
拒答正确性(Refusal Correctness)是一项评估属性,用于在明确语料、授权范围、证据充分性规则和响应策略后,衡量 RAG 系统是否回答可回答请求,并拒绝不可回答请求。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
根据授权语料标注可回答性
Answerability 取决于语料版本、用户与 Tenant 权限、问题范围、新鲜度要求和证据充分性 Rubric。某个事实存在于互联网,不代表企业问题可回答。多部分问题只有部分证据时,应预先规定输出有界部分答案、澄清、升级还是完整拒答。
同时测量两种拒答错误
Trust-Align把不可回答问题上的 Over-responsiveness 与可回答问题上的 Excessive Refusal 分开,并另外评估有证据回答。这样可以避免一个保守系统仅因拒答更多就被误判为更安全。应按风险切片分别报告正确回答、错误回答、正确拒答、错误拒答和越界作答。
构建贴近真实语料的不可回答案例
UAEval4RAG定义六类不可回答请求,并显示同一配置无法在不同知识库中稳定兼顾可回答与不可回答行为。测试应覆盖实体缺失、关系无依据、时间错位、范围歧义、访问受限和多跳证据缺口。合成数据必须人工复核,避免不可能问题或意外可回答案例污染分母。
主要特点
- 先评估回答或拒答决策,再评估答案质量
- 可回答性标签必须绑定语料与授权版本
- 把错误拒答与不安全的越界作答分开
- 把错误答案与可回答性错误分开
- 支持部分回答、澄清、升级与完整拒答策略
- 需要风险加权切片,因为两种错误方向代价不同
常见用途
- 测试知识库助手如何处理缺失或无权访问的证据
- 阻止模型根据参数记忆回答受限问题
- 测量更严格提示词是否造成过度拒答
- 比较不同检索和生成配置的可回答性行为
- 为高影响越界作答与错误拒答设置发布门禁
示例
Loading code...常见问题
RAG 中什么是正确拒答?
当当前用户有权访问的最新语料无法为请求主张提供充分证据时,系统按策略拒答才是正确拒答。必须先定义可回答性,不能把任意通用拒绝都算成正确。
错误拒答与越界作答有什么区别?
错误拒答是证据充分但系统拒绝回答;越界作答是证据不足却仍给出答案。前者损害可用性,后者可能生成无依据或不安全结论,必须分开统计。
拒答率越高越安全吗?
不一定。系统可以拒绝所有请求却完全不可用。应同时报告两种错误方向并按后果加权:高影响的无依据回答可以设置零容忍门禁,错误拒答则可使用有界比例和升级路径。
可回答性标签应该如何确定?
标签应绑定语料版本、访问范围、新鲜度规则、问题解释和证据充分性 Rubric。合成案例需要人工复核,因为所谓不可回答问题可能在另一段授权内容中已经有答案。
部分回答应该算拒答吗?
应在评分前定义策略。如果系统明确给出有证据支持的部分,并拒绝无依据部分,有界部分回答可以正确。最好按子问题保存可回答性,避免单一二元标签掩盖混合结果。