什么是 平均多对象跟踪精度(AMOTP)?

平均多对象跟踪精度(AMOTP)是一种 Confidence-swept 定位指标:它在配置的 Recall Operating Point 上平均每个阈值对应的 MOTP。

快速了解

规范文档官方规范

工作原理

复用 AMOTA 的 Recall Sweep

Evaluator 针对每个类别,把 Trajectory Confidence 转换为预定义 Recall Grid 对应的 Cutoff。每个 Cutoff 保留合格 Track,匹配预测对象与 Ground Truth,并在已接受 Pair 上计算 MOTP;AMOTP 是这些 Per-cutoff MOTP 的算术平均。

3D MOT 指标原始论文提出 AMOTP,用跨阈值 Integral View 代替一个手工选择的 Confidence Threshold。因此 Recall Grid、Confidence Aggregation、重复阈值与 Unreachable-recall Policy 都是指标本体,而不是绘图细节。

把当前 nuScenes AMOTP 解释为米制中心误差

当前 nuScenes Devkit计算 XY 平面的 Euclidean Center Distance,拒绝距离达到或超过配置 2 m Cutoff 的 Pair,并定义 MOTP_r = sum(matched distance) / TP_r;随后在从 0.1 到 1.0 的 40 个 Hypothetical Recall Target 上平均 MOTP。

如果某个类别无法达到目标 Recall,公开配置会插入最差 AMOTP 贡献 2.0 m。因此,虽然逐点 MOTP 只平均已接受 Match,最大可达 Recall 仍会影响最终 AMOTP。

同时声明方向、几何与聚合规则

较低的 nuScenes AMOTP 表示已接受 Center 平均更接近;它不表示 Tracker 找到了大多数对象或保持了身份。容易的 Low-recall Subset 可以拥有很好逐点 MOTP,而 Unreachable Recall Point 的惩罚仍会推高 AMOTP。

不能把米制、越低越好的 nuScenes AMOTP 与另一个 Evaluator 中 IoU 制、越高越好的 AMOTP 直接比较。必须记录 Coordinate Frame、Distance Function、Matching Cutoff、Recall Target、Missing-point Value、Class Weighting 与 Evaluator Commit,并搭配 AMOTA、Recall、HOTA 或 IDF1 及分类别 Error Slice。

主要特点

  • 跨 Recall Operating Point 平均已匹配对象定位
  • 当前 nuScenes 使用越低越好的 XY Center Distance
  • 底层 MOTP 为距离时保留物理单位
  • 惩罚 Tracker 无法达到的 Recall Target
  • 依赖 Confidence、Matching Cutoff、Coordinate Frame 与类别集合
  • 不直接统计漏失、虚假 Track 或 Identity Switch

常见用途

  1. 报告 nuScenes 三维跟踪在 Recall Sweep 上的定位质量
  2. 在同一冻结 Evaluator 下比较 Tracker Center Error
  3. 把定位变化与 AMOTA 变化分开审计
  4. 发现空间估计不稳定的 Confidence Region
  5. 用明确单位和惩罚规则复现 Leaderboard 结果

示例

loading...
Loading code...

常见问题

nuScenes 中的 AMOTP 如何计算?

nuScenes 在每个配置 Recall Target 上平均已接受 Match 的 XY Center Distance;无法达到的目标插入 `2.0 m`,先平均一个类别的全部 Recall Point,再按声明的 Tracking Class 聚合。

AMOTP 是越低越好吗?

对当前 nuScenes 是,因为 AMOTP 是以米为单位的 Center-distance Error。部分历史 Toolkit 平均的是 IoU Similarity,此时越高越好,所以不能仅凭缩写判断方向。

AMOTP 与 MOTP 有什么区别?

MOTP 描述一个 Confidence Operating Point 上已接受 Match 的定位;AMOTP 跨 Recall Grid 平均 MOTP,并可能为 Tracker 无法达到的 Recall Level 加入最差值惩罚。

已匹配定位不变时,AMOTP 为什么仍可能变差?

最大 Recall 下降会让更多 Recall Target 获得最差距离;Confidence Calibration 变化也可能在名义 Recall Point 选择不同 Track Subset,改变进入平均的定位误差。

AMOTP 能证明三维 Tracker 整体优秀吗?

不能。它只汇总配置 Sweep 中已接受 Match 的定位,不会独立展示虚假 Track、漏失对象、身份连续性、时延或安全。还应报告 AMOTA、Recall、Association Metric 与运行切片。

相关术语

相关文章