什么是 多对象跟踪准确率(MOTA)?

多对象跟踪准确率(MOTA)是一种 CLEAR MOT 得分:它从 Ground Truth Detection 总数中扣除漏检、虚假 Detection 与身份切换造成的归一化误差。

快速了解

规范文档官方规范

工作原理

先按评测协议匹配,再统计误差

Evaluator 在每一帧为合格的 Ground Truth 与预测 Detection 建立一对一 Matching。合格条件由 Localization Similarity 与阈值决定,例如 Bounding-box IoU 不低于 0.5。未匹配真值计为 FN,未匹配预测计为 FP;同一真实身份从上一次匹配的预测身份切换到另一个身份时,则按 Evaluator 约定计一次 ID Switch。

CLEAR MOT 原始论文定义了这一指标族。现代实现可能在 Ignore Handling、连续性规则与聚合上不同,因此只有公式不足以完整复现实验。

计算 MOTA 并同时查看误差分解

MOTA = 1 - (FN + FP + IDSW) / GT,其中 GT 是全部评测序列中的 Ground Truth Detection 总数;等价写法是 MOTA = (TP - FP - IDSW) / (TP + FN)。完美值为 1,当总误差超过 GT 时结果为负,0 并不是通用随机基线。

下方 Go 示例先汇总计数再求比值,这是正确的 Micro-average 模式。若不遵守 Benchmark 指定权重,直接平均逐帧或逐序列 MOTA,会得到另一种结果。

用关联与定位证据补足 MOTA

TrackEval 的 CLEAR 实现先延续上一帧 Match,再优化 Localization Similarity,随后计算 TP、FN、FP 与 IDSW。Class Filter、Ignore Region、Similarity Threshold 和身份切换定义都会实质影响可复现性。

MOTA 对每个 FN、FP 与 IDSW 使用相同加法成本,而 Detection Error 通常远多于身份切换。应同时报告 HOTA 或 IDF1 解释 Association,使用 MOTP 或 LocA 解释定位,并补充业务安全与时延指标,不能把 MOTA 当成完整质量保证。

主要特点

  • 组合 False Negative、False Positive 与 Identity Switch
  • 按 Ground Truth Detection 总数归一化误差
  • 上界为一且可以出现任意负分
  • 依赖逐帧 Matching 与切换统计约定
  • 通常比 Association 更强地反映 Detection 质量
  • 不包含合格 Match 内部的定位质量

常见用途

  1. 复现 CLEAR MOT 与 MOTChallenge 评测
  2. 在同一固定协议下比较 Tracker 误差计数
  3. 审计漏检与虚假 Detection 对 Tracker 的影响
  4. 监测既有 Tracking Pipeline 的回归
  5. 与 HOTA、IDF1 一起报告历史主指标

示例

loading...
Loading code...

常见问题

MOTA 如何计算?

先汇总评测集上的 FN、FP 与 IDSW,用三者之和除以 Ground Truth Detection 总数,再用一减去该比值。除非 Benchmark 明确规定其他权重,否则应先汇总计数再做除法。

MOTA 为什么会是负数?

MOTA 的上界是 `1`,却没有有限下界。当 FN、FP 与 IDSW 的总数超过 Ground Truth Detection 数量时,误差比值大于一,MOTA 就会变成负数。

MOTA 能准确反映身份一致性吗?

只能部分反映。它会计入 Identity Switch,但一次切换与一次漏检或虚警的成本相同。Detection Error 往往数量更大,因此 MOTA 可能掩盖显著的 Association 差异。

MOTA 与 MOTP 有什么区别?

MOTA 统计漏检、虚假 Detection 与身份切换;MOTP 只在已接受 Match 上平均 Localization Similarity 或 Distance。因此 Tracker 可能有高 MOTP、低 MOTA,也可能相反。

不同 Benchmark 的 MOTA 可以直接比较吗?

通常不能。只有数据集、类别过滤、Ignore Region、定位表示、Matching Threshold、Switch Definition、Sequence Aggregation 与 Evaluator Version 兼容时,底层计数才具有可比性。

相关术语

相关文章