什么是 深度感知视频全景分割（DVPS）？
深度感知视频全景分割（DVPS）是一项稠密视频感知任务，它联合预测逐 Pixel Depth、Semantic Class 与跨帧保持一致的 Thing-instance Identity。
快速了解
| 全称 | Depth-Aware Video Panoptic Segmentation |
|---|---|
| 规范文档 | 官方规范 |
工作原理
在对齐的 Pixel 上联合预测深度、语义与身份
ViP-DeepLab 原始论文把 DVPS 定义为 Monocular Depth 与 Video Panoptic Label 的联合预测。每个有效 Pixel 需要 Depth Value 与 Semantic Class，Thing Region 还需要时间一致的 Instance ID；三类输出必须共享 Image Coordinate、Crop、Resize、Timestamp 与 Validity Mask。
模型可以使用独立 Head、Task-specific Decoder、Shared Object Query 或 Hybrid Representation。Joint Training 可能迁移有用的 Geometry 与 Object Cue，也可能产生 Gradient Competition。一个 Aggregate 无法判断 Depth、Segmentation 还是 Tracking 失败，因此必须保留 Subtask Metric。
显式记录数据集来源与可见性
官方代码与数据说明把 Cityscapes-DVPS 定义为 Cityscapes-VPS Panoptic Label 与 Cityscapes Depth 的组合；SemKITTI-DVPS 则把带标注的 SemanticKITTI Point Cloud 投影到 Image Plane。
两者的 Image Cadence、Depth Density、Occlusion、Field of View、Taxonomy 与 Sequence Structure 不同。
Projected LiDAR Depth 不等同于 Dense Camera Depth：大量 Pixel 可能无效，投影碰撞也需要明确 Policy。像 Color Image 一样缩放 Depth、跨错误 Frame 评测，或把 Missing Depth 当作 Zero Error，都会悄悄破坏结果。每份 Prediction Artifact 都应保存 Calibration 与 Preprocessing Metadata。
联合评测任务并保留各故障面
DVPQ 会把 Relative Depth Error 超过阈值的 Pixel 改为 Ignored Prediction Category，再应用窗口化 Video Panoptic Quality。因此只有同一 Pixel 的 Segmentation、Identity 与 Depth 同时正确时才能保留信用。应报告每个 Depth Threshold 与 Temporal Window，不能只给未标注配置的平均数。
还应在同一 Valid Mask 上报告不做 Depth Gating 的 VPQ 或 STQ、Depth Metric、Thing/Stuff 与逐类分项、Temporal Degradation 和 Latency。DVPQ 不衡量 Uncertainty Calibration、遮挡后的 Completed Geometry、数据集外物理尺度安全或 Causal Response Time。
主要特点
- 在同一 Image Coordinate 中预测 Depth 与 Panoptic Label
- 让 Thing-instance Identity 跨视频 Frame 保持一致
- 在一个稠密输出契约中覆盖 Stuff 与 Thing Pixel
- 要求同步 Frame、Calibration 与 Valid-depth Mask
- 兼容 Separate、Shared 与 Hybrid Multi-task Architecture
- 依赖 Depth Unit、Dataset Derivation 与 Temporal Protocol
常见用途
- 在跟踪道路参与者时估计场景几何
- 构建自主系统的单目视频感知
- 研究 Depth 与 Segmentation 的共享表示
- 比较 Cityscapes-DVPS 与 SemKITTI-DVPS Pipeline
- 审计对齐后的 Depth、Mask、Class 与 Identity 故障
示例
Loading code...常见问题
DVPS 模型需要预测什么？
它为每个有效 Video Pixel 预测 Semantic Class 与 Depth；Thing Pixel 还要获得跨帧稳定的 Instance Identity，Stuff Pixel 则继续构成完整 Panoptic Partition。
DVPS 与视频全景分割有什么区别？
VPS 预测稠密语义与时序 Instance Label，但不预测 Geometry；DVPS 为每个有效 Pixel 增加对齐的 Depth Estimate，因此评测可以同时要求空间、语义与身份正确。
DVPS 会重建完整 3D 场景吗？
不会。常见 DVPS 协议估计可见 Image Pixel 的 Depth，不一定补全 Occluded Space、融合 Persistent World Model、在标定假设外恢复 Absolute Scale，或保证 Point Cloud 的几何完整性。
Cityscapes-DVPS 与 SemKITTI-DVPS 为什么不能互换？
前者组合 Camera Panoptic Annotation 与 Depth，后者把带标签 LiDAR Point 投影到 Image。它们的 Depth Density、Cadence、Taxonomy、Visibility、Image Geometry、Sequence Boundary 与评测设置不同。
生产 DVPS 系统应该如何评测？
应按 Threshold 与 Window 报告 DVPQ，同时给出不做 Depth Gating 的 VPQ 或 STQ、同一 Valid Mask 上的 Depth Error、逐类与 Thing/Stuff 分项、Identity Failure、Calibration 与 Synchronization Check、Causal Latency、Memory，以及天气和传感器故障鲁棒性。