什么是 平均多对象跟踪精度(AMOTP)?
平均多对象跟踪精度(AMOTP)是一种 Confidence-swept 定位指标:它在配置的 Recall Operating Point 上平均每个阈值对应的 MOTP。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
复用 AMOTA 的 Recall Sweep
Evaluator 针对每个类别,把 Trajectory Confidence 转换为预定义 Recall Grid 对应的 Cutoff。每个 Cutoff 保留合格 Track,匹配预测对象与 Ground Truth,并在已接受 Pair 上计算 MOTP;AMOTP 是这些 Per-cutoff MOTP 的算术平均。
3D MOT 指标原始论文提出 AMOTP,用跨阈值 Integral View 代替一个手工选择的 Confidence Threshold。因此 Recall Grid、Confidence Aggregation、重复阈值与 Unreachable-recall Policy 都是指标本体,而不是绘图细节。
把当前 nuScenes AMOTP 解释为米制中心误差
当前 nuScenes Devkit计算 XY 平面的 Euclidean Center Distance,拒绝距离达到或超过配置 2 m Cutoff 的 Pair,并定义 MOTP_r = sum(matched distance) / TP_r;随后在从 0.1 到 1.0 的 40 个 Hypothetical Recall Target 上平均 MOTP。
如果某个类别无法达到目标 Recall,公开配置会插入最差 AMOTP 贡献 2.0 m。因此,虽然逐点 MOTP 只平均已接受 Match,最大可达 Recall 仍会影响最终 AMOTP。
同时声明方向、几何与聚合规则
较低的 nuScenes AMOTP 表示已接受 Center 平均更接近;它不表示 Tracker 找到了大多数对象或保持了身份。容易的 Low-recall Subset 可以拥有很好逐点 MOTP,而 Unreachable Recall Point 的惩罚仍会推高 AMOTP。
不能把米制、越低越好的 nuScenes AMOTP 与另一个 Evaluator 中 IoU 制、越高越好的 AMOTP 直接比较。必须记录 Coordinate Frame、Distance Function、Matching Cutoff、Recall Target、Missing-point Value、Class Weighting 与 Evaluator Commit,并搭配 AMOTA、Recall、HOTA 或 IDF1 及分类别 Error Slice。
主要特点
- 跨 Recall Operating Point 平均已匹配对象定位
- 当前 nuScenes 使用越低越好的 XY Center Distance
- 底层 MOTP 为距离时保留物理单位
- 惩罚 Tracker 无法达到的 Recall Target
- 依赖 Confidence、Matching Cutoff、Coordinate Frame 与类别集合
- 不直接统计漏失、虚假 Track 或 Identity Switch
常见用途
- 报告 nuScenes 三维跟踪在 Recall Sweep 上的定位质量
- 在同一冻结 Evaluator 下比较 Tracker Center Error
- 把定位变化与 AMOTA 变化分开审计
- 发现空间估计不稳定的 Confidence Region
- 用明确单位和惩罚规则复现 Leaderboard 结果
示例
Loading code...常见问题
nuScenes 中的 AMOTP 如何计算?
nuScenes 在每个配置 Recall Target 上平均已接受 Match 的 XY Center Distance;无法达到的目标插入 `2.0 m`,先平均一个类别的全部 Recall Point,再按声明的 Tracking Class 聚合。
AMOTP 是越低越好吗?
对当前 nuScenes 是,因为 AMOTP 是以米为单位的 Center-distance Error。部分历史 Toolkit 平均的是 IoU Similarity,此时越高越好,所以不能仅凭缩写判断方向。
AMOTP 与 MOTP 有什么区别?
MOTP 描述一个 Confidence Operating Point 上已接受 Match 的定位;AMOTP 跨 Recall Grid 平均 MOTP,并可能为 Tracker 无法达到的 Recall Level 加入最差值惩罚。
已匹配定位不变时,AMOTP 为什么仍可能变差?
最大 Recall 下降会让更多 Recall Target 获得最差距离;Confidence Calibration 变化也可能在名义 Recall Point 选择不同 Track Subset,改变进入平均的定位误差。
AMOTP 能证明三维 Tracker 整体优秀吗?
不能。它只汇总配置 Sweep 中已接受 Match 的定位,不会独立展示虚假 Track、漏失对象、身份连续性、时延或安全。还应报告 AMOTA、Recall、Association Metric 与运行切片。