什么是 部件感知全景质量(PartPQ)?

部件感知全景质量(PartPQ)是一种类别平均指标,它评测 Panoptic Segment Recognition,并对有 Part Annotation 的类别衡量已匹配 Parent Segment 内部的 Part Label Quality。

快速了解

全称Part-Aware Panoptic Quality
规范文档官方规范

工作原理

先匹配 Parent Segment,再评价 Part

PPS 原始论文先用 Binary Mask IoU > 0.5 匹配同一 Scene Class 的 Prediction 与 Ground Truth Parent Segment。未匹配预测计为 FP,未匹配 Ground Truth 计为 FN。未通过 Scene-level Gate 的 Parent Pair 不能靠正确 Part Label 获得信用。

这一顺序保留了 Panoptic Quality 的 Recognition Semantics,也意味着 PartPQ 下降可能来自 Parent 漏失、虚假 Parent、Parent Overlap 较差或内部 Part Label 错误。归因前应查看原始 TP/FP/FN 与逐类别结果。

用 Part-level Mean IoU 替换 Matched Overlap

对有 Part 的 Class,每个 Accepted Parent Pair 贡献 IoU_p,即在该 Parent Context 内对参与评测 Part Label 计算的 Mean Intersection over Union。对无 Part Class,IoU_p 等于 Binary Parent-segment IoU。逐类别公式为 PartPQ_c = sum IoU_p / (TP + 0.5*FP + 0.5*FN),并可分解为 PartSQ 与 PartRQ。

PartRQ 使用与 PQ 相同的 Accepted Parent Match 和分母;PartSQ 则在 TP 上平均 IoU_p。PartRQ 较强而 PartSQ 较弱,可能表示对象已找到,但 Mask 或内部 Part 较差;只看 PartSQ 无法发现漏失对象。

固定 EvalSpec、Ignored Region 与实现版本

固定版本的参考 Evaluator从 EvalSpec 读取 Class Group,把有效 Part Region 完全未标注的 Ground Truth Segment 移除,在 Part Confusion 中排除 Undefined-part Pixel 与 Void/Crowd,并抑制主要落在 Ignored Region 的未匹配预测。

正式协议会分别报告 All Class、Class with Parts 与 Class without Parts。PartPQ 不能与 PQ、Part mIoU 或 Part-Whole Quality 互换,也不衡量 Boundary Safety、Hierarchy Calibration、Latency 或 Temporal Consistency。比较系统时必须保持 Dataset Version、Label Grouping、EvalSpec 与 Evaluator Commit 一致。

主要特点

  • 以严格大于 0.5 的 IoU 匹配同类 Parent Segment
  • 对有部件类别使用 Part-label Mean IoU
  • 对无部件类别使用 Parent Binary IoU
  • 沿用 PQ 分母惩罚 FP 与 FN
  • 对有效 Scene Class 做 Macro Average 并支持分组报告
  • 依赖 EvalSpec、Part Grouping、Void 与 Crowd Handling

常见用途

  1. 排序 Cityscapes Panoptic Parts 模型
  2. 评测 PASCAL Panoptic Parts Prediction
  3. 分离 Parent Recognition 与 Matched-part Quality
  4. 比较有部件类别与无部件类别
  5. 验证 Hierarchical Segmentation Export 与 EvalSpec

示例

loading...
Loading code...

常见问题

PartPQ 如何计算?

先以严格大于 0.5 的 Binary IoU 匹配同类 Parent Segment;有部件类别累加 Part-label Mean IoU,无部件类别累加 Binary Mask IoU,再除以 `TP + 0.5 FP + 0.5 FN`,最后对有效类别做 Macro Average。

PartPQ 与 Panoptic Quality 有什么区别?

两者使用相同 Parent-segment Recognition Gate 与分母。PQ 用 Parent Mask IoU 奖励每个 Match;PartPQ 对有部件类别改用内部 Part-label Mean IoU,无部件类别则保留 Parent IoU。

正确 Part Label 能补偿未匹配的 Parent Segment 吗?

不能。只有 Prediction 与 Ground Truth Parent Segment 先通过同类 `IoU > 0.5` Gate,内部 Part Label 才会参与评测;失败的 Parent Match 贡献 FP 与 FN,而不是 Part Overlap。

PartSQ 与 PartRQ 分别代表什么?

PartSQ 对 Accepted Parent Pair 的 Match Quality 取平均;PartRQ 是由 TP、FP 与 FN 构成的 F1-like Recognition Term。两者乘积是逐类别 PartPQ,但都依赖 Evaluator 的 Part 与 Ignore Rule。

不同 EvalSpec 的 PartPQ 可以直接比较吗?

不能可靠比较。Scene Class、Part Class、Grouped Label、Unknown-part Treatment、Void/Crowd Mask 与 Eligible Segment 都可能不同。应报告 Dataset Version、EvalSpec、Evaluator Commit 及 With-parts/No-parts 分项。

相关术语

相关文章