什么是 全景分割？
全景分割是一项为图像中每个有效像素分配语义类别与一致 Segment Identity 的计算机视觉任务，它区分可数 Thing Instance，同时完整覆盖 Stuff Region。
快速了解
| 全称 | Panoptic Segmentation |
|---|---|
| 规范文档 | 官方规范 |
工作原理
为每个像素生成唯一且一致的标签
全景分割原始论文把每个像素映射为 (class, instance ID) Pair。共享两个值的像素组成一个 Thing Segment；Stuff Class 的 Instance 部分在概念上被忽略。与相互独立的 Instance Mask 不同，Panoptic Segment 不能重叠，因此 Post-processing 必须处理重复 Mask、Thing/Stuff 冲突、未覆盖像素与非法 Label。
Dataset 可能保留 Void 或 Crowd Region，并在评测时忽略或特殊处理。Segment-ID PNG 配合逐 Segment Metadata 是常见格式，但 Color Encoding、Category ID、Minimum Area 与 Disconnected-region Rule 属于数据集契约，不是抽象任务的通用常量。
把任务定义与模型架构分开
Top-down System 可以先预测 Instance Mask 与 Semantic Map，再消解重叠；Bottom-up System 可以预测语义类别、Center 与 Offset，再聚合像素；Query-based System 可以分类一组 Mask，并把它们合并成一个 Partition。这些路线的训练目标和故障模式不同，但解决的是同一个输出问题。
全景分割不只是 Multi-task Learning。两个独立 Head 可能互相冲突、产生重叠或留下空洞，而有效 Panoptic Result 必须为每个像素提交唯一 Class-and-segment Assignment。COCO 与 Mapillary Challenge因此把它定义为同时覆盖 Thing 与 Stuff 的统一场景分割任务。
联合评测 Mask、识别与部署约束
Panoptic Quality 是标准任务指标，但一个标量不能揭示全部故障。应同时报告 PQ、Matched-mask SQ、Recognition RQ、Thing/Stuff 分项、逐类别得分、Ignored-region Rule 与精确 Evaluator。Boundary Quality、Calibration、Latency、Memory 与 Robustness 需要独立测量。
生产审阅还应按小目标、遮挡、细长结构、稀有类别、拥挤场景、Domain Shift 与 Unresolved Pixel 切片。较高 Benchmark PQ 不能证明距离估计安全、时序身份一致、Open-vocabulary Coverage 或实时性；这些属于其他任务和指标契约。
主要特点
- 为每个有效图像像素分配语义类别
- 为可数 Thing Class 区分独立 Instance
- 以不区分对象身份的方式表示 Stuff Region
- 要求互斥且一致的完整场景划分
- 兼容 Top-down、Bottom-up、Query-based 与 Hybrid Model
- 依赖 Taxonomy、Void、Crowd 与 Encoding Convention
常见用途
- 为自动系统构建完整场景表示
- 在机器人中区分可操作对象与承载表面
- 把街景解析为车辆、行人、道路、天空与基础设施
- 为图像编辑和增强现实准备一致 Mask
- 评测统一语义分割与实例分割模型
示例
Loading code...常见问题
全景分割与语义分割有什么区别？
语义分割为每个像素分配类别，但不区分同类的两个对象；全景分割在完整覆盖 Thing 与 Stuff 像素的同时，还为 Thing Class 增加 Instance Identity。
全景分割与实例分割有什么区别？
实例分割通常输出 Thing Object 的独立 Confidence-ranked Mask，并可能允许重叠；全景分割同时覆盖 Thing 与 Stuff，并要求每个有效像素只有一个不重叠的 Class-and-segment Assignment。
全景分割中的 Stuff Class 是否有 Instance ID？
概念上不评测 Stuff 的独立 Instance Identity。实现可以统一编码为零，也可以使用 Dataset 规定的 Segment ID，因此必须严格遵循目标 Evaluator 的格式。
Panoptic Quality 足以批准感知模型上线吗？
不足。PQ 只在固定数据集下汇总 Segment Recognition 与 Matched-mask Overlap；上线还要评测 Boundary、稀有类别、Calibration、Latency、Robustness、时序一致性与下游安全。
比较全景分割系统前必须固定哪些条件？
必须固定 Dataset Split、Class Taxonomy、Thing/Stuff Mapping、Void/Crowd Policy、输入分辨率、Segment Encoding、Post-processing、Evaluator Version 与 Minimum-area Rule，否则比较的并非同一任务。