什么是 全景跟踪指标(PAT)?
全景跟踪指标(PAT)是一种实例中心的 Panoptic Tracking Metric,它通过调和平均组合逐帧 Panoptic Quality 与 Tracking Quality。
快速了解
| 全称 | Panoptic Tracking Metric |
|---|---|
| 规范文档 | 官方规范 |
工作原理
在 Thing 与 Stuff 类别上计算逐帧 PQ
PQ 分量在协议规定的 IoU Threshold 之上匹配同类预测与 Ground Truth Segment。每个类别计算 PQ = sum IoU / (TP + 0.5*FP + 0.5*FN),Evaluator 再对 Class Score 取平均;Thing Instance 与 Stuff Region 都会影响该分量。
Panoptic nuScenes 原始论文把这个 Segmentation View 与独立的 Instance-centric Tracking Term 组合。最终使用调和平均,因此较高 TQ 不能无限补偿语义或 Mask 失败。
从 Association 与身份转移构造 TQ
对长度为 |g| 的 Ground Truth Track g 及每个预测身份 p,令 TPA 为成功匹配 Frame 数,FNA = |g| - TPA,FPA 为 p 在不匹配 g 时出现的次数。AQ_g = sum_p TPA^2 / (TPA + FNA + FPA) / |g|。再令 IS_g = 1 - IDS_g / (|g| - 1);单帧 Track 的 IS_g = 1。
单条 Track 得分是 sqrt(AQ_g * IS_g),TQ 对所有 Ground Truth Thing Instance 等权平均。把一条真实身份拆给多个 Prediction 会降低 AQ;按参考实现,预测身份变化或相邻时刻缺少匹配会降低 Identity-transition Term。
组合 Component 并保留 Evaluator 语义
PAT = 2 * PQ * TQ / (PQ + TQ),取值为零到一。PQ 是 Class-macro Average,TQ 是 Ground-Truth-instance-macro Average,因此 Point Count 与 Frame Count 都不会直接决定顶层权重。应同时报告 PQ 与 TQ,不能只展示调和平均。
官方 nuScenes 实现在 TQ Matching 中使用 Class-agnostic Prediction ID,并包含 IoU Threshold、Minimum-point Filtering、Scene-bounded Identity History 与指定 Unmatched Value。
必须锁定这些选择;逐点全序列 Association 使用 LSTQ,Switch-IoU-adjusted Frame PQ 使用 sPTQ。
主要特点
- 通过调和平均平衡全景分割与跟踪
- 以标准逐帧 PQ 作为分割分量
- 逐 Ground Truth Track 评测 Association 与身份转移
- 对 Thing Instance 等权平均 TQ
- 惩罚 Fragmentation、ID Transfer 与连续性缺失
- 依赖 IoU、Minimum-point、Class 与 Scene Boundary
常见用途
- 排序 Panoptic nuScenes Tracking Submission
- 联合评测 LiDAR 全景分割与跟踪
- 分离逐帧 Segmentation 与 Instance Continuity
- 诊断 Fragmentation 与 ID-transfer 行为
- 比较 Instance-centric Panoptic Tracking System
示例
Loading code...常见问题
PAT 如何计算?
PAT 是逐帧 Panoptic Quality 与实例级 Tracking Quality 的调和平均。TQ 对每条 Ground Truth Thing Track 的 Association Quality 与 Identity-transition Consistency 做几何平均,再对 Track 等权平均。
PAT 中的 Tracking Quality 衡量什么?
TQ 衡量每条 Ground Truth Track 是否完整且排他地映射到预测身份,并把该 Association Score 与归一化身份转移得分结合;每条 Ground Truth Thing Instance 拥有相同顶层权重。
PAT 与 LSTQ 有什么区别?
PAT 把 Class-averaged Frame PQ 与 Instance-averaged TQ 组合,并使用 Thresholded Segment Match;LSTQ 把语义 mIoU 与逐点全序列 Association Quality 组合,Association 不先对整段 Segment 设阈值。
PAT 与 sPTQ 有什么区别?
sPTQ 直接修改 Frame-level PQ 分子,移除发生 Switch 的 Match IoU;PAT 则从完整 Track Association 与 Identity Transition 构造独立的实例级 TQ,再与普通 PQ 做调和平均。
比较 PAT 前必须固定哪些条件?
必须固定 Dataset Split、Class Mapping、Thing/Stuff 定义、Segment-IoU Threshold、Minimum Points、Ignored Label、Prediction-ID Namespace、Sequence Boundary、Unmatched Transition 处理与 Evaluator Commit。