什么是 精确率-召回率曲线(PR Curve)?

精确率-召回率曲线(PR Curve)是在扫描分类分数阈值时,以召回率为横轴、精确率为纵轴,展示正类覆盖率与正向预测可靠性取舍的曲线。

快速了解

规范文档官方规范

工作原理

生成操作点前先合并同分样本

模型无法区分分数完全相同的样本,因此它们应一起进入预测正例集合。任意排列 Tie 会虚构中间操作点,并改变有限样本摘要。当前 scikit-learn 文档按不同阈值返回曲线点,并添加完成图形的端点;报告必须记录阈值、Tie 与端点约定。

区分 Average Precision 与梯形 PR-AUC

Average Precision(AP)使用召回率增量为每个操作点的精确率加权:sum((R_n-R_(n-1))*P_n)。当前 scikit-learn 文档明确区分这种非插值摘要与梯形面积,后者的线性插值可能更乐观。发布 PR-AUC 时必须注明具体积分方法。

在目标部署人群上解释稀有事件

Davis 与 Goadrich证明同一数据集上的 ROC 与 PR 空间存在对应关系,但面积优化和插值不同。Saito 与 Rehmsmeier展示了高不均衡数据中,PR 图如何暴露 ROC 视图可能掩盖的正预测可靠性问题;这并不意味着任何任务只看一项曲线即可。

主要特点

  • 扫描不同分数阈值并绘制精确率与召回率
  • 聚焦已声明正类及其预测结果
  • 无技能精确率基线随正类基础发生率变化
  • 必须把相同分数样本作为无法区分的一组处理
  • 可用非插值 Average Precision 或其他已声明面积规则汇总
  • 不能选择阈值、编码错误成本或衡量概率校准

常见用途

  1. 在相同评测人群上比较稀有事件检测排序
  2. 按告警质量与覆盖率约束选择阈值
  3. 检查欺诈、安全、检索或诊断分数取舍
  4. 按明确积分约定报告 Average Precision
  5. 结合工作量与校准概率监控排序变化

示例

loading...
Loading code...

常见问题

精确率-召回率曲线如何生成?

先按已声明正类的分数排序样本,把相同分数归为一组,再逐个降低不同阈值。每个操作点分别用预测正例计算 Precision、用真实正例计算 Recall,并保留阈值与样本支持度。

什么时候 PR 曲线比 ROC 曲线更有用?

正例稀少且正向告警可靠性重要时,PR 曲线通常更直观。ROC 的假正例率以大量真实负例为分母,可能显得很小;Precision 则直接暴露产生的告警中有多少为误报。两类问题都重要时应同时报告。

Average Precision 与 PR-AUC 相同吗?

不一定。Average Precision 通常按每次 Recall 增量加权对应 Precision,不做线性插值;梯形 PR-AUC 假设相邻点之间为直线,可能得到不同结果。报告必须写明公式和库实现。

精确率-召回率曲线的基线是什么?

对没有信息的随机排序,期望 Precision 等于正类基础发生率。由于这个基线会随评测人群变化,不同数据采样或权重下的 PR 曲线及其摘要不能直接横向比较。

PR 曲线上的最佳点就是生产阈值吗?

不是。应在验证数据上结合误报与漏报成本、复核容量、最低覆盖率、不确定性和策略约束选择阈值,再在未参与选择的测试数据上评估冻结操作点,并在上线后持续监控。

相关术语

相关文章