什么是 部件感知全景分割？
部件感知全景分割是一项层级图像理解任务，它为每个有效 Pixel 分配场景类别、可选对象实例身份，以及与父 Segment 绑定的可选部件类别。
快速了解
| 全称 | Part-Aware Panoptic Segmentation |
|---|---|
| 规范文档 | 官方规范 |
工作原理
联合表示场景、实例与部件标签
PPS 原始论文把 Pixel 表示为 (l, p, z)：Scene Class l、Part Class p 与 Instance ID z。Thing Instance 拥有独立 ID，而 Part Prediction 只有位于兼容 Parent Class 下才有意义。两个人都可能包含 Arm Part，但这些 Pixel 必须分别附着到对应 Person Instance。
官方 Panoptic Parts 格式把 Semantic ID、可选 Instance ID 与可选 Part ID 编码为层级 UID。格式可以用 Dummy Instance 表示 Stuff Part，但已发布的 Cityscapes 与 PASCAL Panoptic Parts 只为选定 Thing Class 定义部件。
在预测中保持 Parent-child 一致性
Modular Pipeline 可以合并 Panoptic Segmentation 与 Part Parser，但必须消解冲突：Wheel 不能落在所属 Vehicle 之外，重叠 Part Mask 需要唯一 Label，不适用于当前 Parent 的 Part Class 不能通过 Post-processing。Joint-query Model 从共享表示预测对象及其部件，但架构不会改变输出契约。
训练时必须区分 No-part Class、有效但没有 Part Annotation 的 Pixel、Semantic Void 与缺少 Instance Annotation。把所有零 Part ID 当作普通 Background，会把标注缺口变成错误监督。因此 Dataset-specific Label Map 与 Merge Policy 都应进入可复现 Model Artifact。
在不隐藏故障的前提下评测多个抽象层
PartPQ 先按 Panoptic Quality 的 IoU Rule 匹配 Scene-level Segment；对定义了 Part 的 Class，再用 Part-level Mean IoU 替换 Matched-segment Overlap。它把 Recognition、Parent Mask Quality 与内部 Part Parsing 耦合起来。应分别报告全部类别、有部件类别、无部件类别，以及 PartSQ/PartRQ Component。
PartPQ 可能偏重 Scene-level Performance，也不会独立暴露所有 Hierarchy Error。Panoptic-PartFormer++等后续研究提出 Part-Whole Quality，以不同方式分解问题。比较系统前必须固定 Metric、EvalSpec、Class Grouping、Ignored Label、Image Resolution 与 Evaluator Version。
主要特点
- 把 Scene、Instance 与 Part Semantics 组合为一个 Pixel Hierarchy
- 要求每个 Part 与兼容的 Parent Segment 绑定
- 保持完整的 Thing 与 Stuff Scene Partition
- 允许只为选定 Semantic Class 定义 Part
- 兼容 Modular Merging 与 Joint Object-part Architecture
- 依赖 Label Hierarchy、Void、Crowd 与 EvalSpec Convention
常见用途
- 在街景感知中区分车辆及其车轮
- 把人体解析为实例专属身体部件
- 为机器人交互构建层级场景表示
- 评测联合对象与部件分割模型
- 审计稠密感知输出的 Parent-part 一致性
示例
Loading code...常见问题
部件感知全景分割需要预测什么？
它为每个有效 Pixel 预测 Scene-level Class，在 Parent Class 可实例化时预测 Instance ID，并在 Dataset 定义 Part Annotation 时预测 Part Class；这些标签必须组成一个一致层级。
PPS 与普通全景分割有什么区别？
普通全景分割只到 Scene Class 与 Thing Identity；PPS 继续增加符合条件的 Parent Segment 内部 Part Semantics，因此既能区分两辆车，也能标注每辆车各自的 Wheel、Window 与 Body Pixel。
PPS 与 Part Segmentation 有什么区别？
Part Segmentation 可以在不识别 Parent Object 或不覆盖 Stuff 的情况下标注部件；PPS 要求完整 Panoptic Scene Partition，并让每个 Part Prediction 附着到正确的 Scene Class 与 Object Instance。
PPS 的每个类别都必须定义部件吗？
不需要。EvalSpec 会声明哪些 Class 有 Part Label。无部件类别只按 Panoptic Level 评测，Unknown、Unannotated、Crowd 与 Void Region 则按数据集专属规则处理。
比较 PPS 系统前必须固定哪些条件？
必须固定 Dataset Version、Scene/Part Taxonomy、Parent-part Mapping、Thing/Stuff Split、Label Encoding、Merge Policy、Ignore/Crowd Handling、EvalSpec、Image Resolution 与精确 Evaluator Commit。