什么是 全类别跟踪准确率(TETA)?

全类别跟踪准确率(TETA)是一种大词表多对象跟踪指标:它分别衡量 Localization、Association 与 Classification,再对三个分量取算术平均。

快速了解

规范文档官方规范

工作原理

用 Local Cluster 约束可证明的 False Positive

对每个评测类别,每个 Ground Truth Box 都是一个 Local Cluster Anchor。满足配置 IoU Margin 的 Prediction 进入 Cluster,其中未被选为 Match 的 Prediction 计为 Localization False Positive;在非穷尽标注模式下,所有 Cluster 之外的预测被忽略,因为它们可能是有效但未标注对象。

TETA 原始论文用该规则在「所有未匹配预测都惩罚」与「全部不惩罚」之间折中:已知对象附近的 Duplicate 仍受罚。Cluster Margin 会改变这一权衡,必须随结果声明。

显式计算定位、关联与分类

LocA = LocTP / (LocTP + LocFP + LocFN) 是 Localization Detection 的 Jaccard Score。对每个 Localized True Positive,TETA 用 True-positive、False-positive 与 False-negative Association 计算 HOTA-style Identity-pair Jaccard,再平均得到 AssocA;ClsA 则对定位良好的 Match 按类别计算分类 Jaccard。

综合公式为 TETA = (LocA + AssocA + ClsA) / 3。算术平均避免长尾类别接近零的 Classification Score 把定位与关联乘到零,但三个分量仍只有形式上的等权,并不代表真实业务成本。

把标注模式与阈值 Sweep 纳入契约

TETA 参考实现在一组 Localization Threshold 上评测,执行 Global Identity Alignment,并在 Annotation 声明为 Exhaustive 时采用不同的 Classification False-positive 规则;Class Average 与 Threshold Reduction 都会影响最终标量。

TETA 能展示 Tracker 在语义混淆时是否仍正确定位和关联,却不能证明 Open-vocabulary Recognition、Calibration、安全或实时能力。应检查三个分量、Base 与 Novel Class、对象频次、阈值曲线和原始错误;当任务契约更匹配时,改用 HOTA、IDF1 或 Track mAP。

主要特点

  • 分离 Localization、Association 与 Classification 质量
  • 按 Location 而不是预测类别组织评测
  • 支持非穷尽标注的大词表数据集
  • 使用 HOTA-style 高阶关联统计
  • 通过算术平均组合三个分量
  • 依赖 Cluster Margin、Threshold、Annotation Mode 与 Class Average

常见用途

  1. 评测大词表多对象 Tracker
  2. Benchmark Open-world 与 Open-vocabulary Tracking
  3. 把语义混淆与 Trajectory Association 分离
  4. 处理类别标注不穷尽的数据集
  5. 比较 Base、Novel、Common 与 Rare Class 表现

示例

loading...
Loading code...

常见问题

TETA 如何计算?

TETA 在 Local-cluster Protocol 下计算 Localization Accuracy、高阶 Association Accuracy 与 Classification Accuracy,再取三者算术平均;Evaluator 还可能继续跨 Localization Threshold 与类别平均。

TETA 为什么把 Classification 与 Tracking 分开?

大词表 Tracker 可能正确定位并跟随对象,却混淆稀有或相似类别。Class-first Grouping 会丢弃这部分跟踪证据;TETA 按位置分组,单独评测 Trajectory Association,再报告 Classification。

TETA 如何处理不完整标注?

非穷尽模式下,它惩罚已标注对象 Local Cluster 内的未匹配 Prediction,但忽略所有 Cluster 之外的预测。这减少了对有效未标注对象的错误惩罚,不过 Cluster Margin 仍是一项建模假设。

TETA 与 HOTA 有什么区别?

HOTA 通常在按类别评测后平衡 Detection 与 Association;TETA 进一步分离 Localization 与 Classification,并加入面向不完整标注的 Local Cluster。对穷尽单类别数据,TETA 接近 HOTA,但使用算术平均而非几何平均。

高 TETA 能证明开放世界系统安全吗?

不能。TETA 是离线 Benchmark Aggregate,不编码分类错误成本、Confidence Calibration、时延、Cluster 外漏标、Distribution Shift 或下游规划风险;这些必须单独评测。

相关术语

相关文章