什么是 全类别跟踪准确率(TETA)?
全类别跟踪准确率(TETA)是一种大词表多对象跟踪指标:它分别衡量 Localization、Association 与 Classification,再对三个分量取算术平均。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
用 Local Cluster 约束可证明的 False Positive
对每个评测类别,每个 Ground Truth Box 都是一个 Local Cluster Anchor。满足配置 IoU Margin 的 Prediction 进入 Cluster,其中未被选为 Match 的 Prediction 计为 Localization False Positive;在非穷尽标注模式下,所有 Cluster 之外的预测被忽略,因为它们可能是有效但未标注对象。
TETA 原始论文用该规则在「所有未匹配预测都惩罚」与「全部不惩罚」之间折中:已知对象附近的 Duplicate 仍受罚。Cluster Margin 会改变这一权衡,必须随结果声明。
显式计算定位、关联与分类
LocA = LocTP / (LocTP + LocFP + LocFN) 是 Localization Detection 的 Jaccard Score。对每个 Localized True Positive,TETA 用 True-positive、False-positive 与 False-negative Association 计算 HOTA-style Identity-pair Jaccard,再平均得到 AssocA;ClsA 则对定位良好的 Match 按类别计算分类 Jaccard。
综合公式为 TETA = (LocA + AssocA + ClsA) / 3。算术平均避免长尾类别接近零的 Classification Score 把定位与关联乘到零,但三个分量仍只有形式上的等权,并不代表真实业务成本。
把标注模式与阈值 Sweep 纳入契约
TETA 参考实现在一组 Localization Threshold 上评测,执行 Global Identity Alignment,并在 Annotation 声明为 Exhaustive 时采用不同的 Classification False-positive 规则;Class Average 与 Threshold Reduction 都会影响最终标量。
TETA 能展示 Tracker 在语义混淆时是否仍正确定位和关联,却不能证明 Open-vocabulary Recognition、Calibration、安全或实时能力。应检查三个分量、Base 与 Novel Class、对象频次、阈值曲线和原始错误;当任务契约更匹配时,改用 HOTA、IDF1 或 Track mAP。
主要特点
- 分离 Localization、Association 与 Classification 质量
- 按 Location 而不是预测类别组织评测
- 支持非穷尽标注的大词表数据集
- 使用 HOTA-style 高阶关联统计
- 通过算术平均组合三个分量
- 依赖 Cluster Margin、Threshold、Annotation Mode 与 Class Average
常见用途
- 评测大词表多对象 Tracker
- Benchmark Open-world 与 Open-vocabulary Tracking
- 把语义混淆与 Trajectory Association 分离
- 处理类别标注不穷尽的数据集
- 比较 Base、Novel、Common 与 Rare Class 表现
示例
Loading code...常见问题
TETA 如何计算?
TETA 在 Local-cluster Protocol 下计算 Localization Accuracy、高阶 Association Accuracy 与 Classification Accuracy,再取三者算术平均;Evaluator 还可能继续跨 Localization Threshold 与类别平均。
TETA 为什么把 Classification 与 Tracking 分开?
大词表 Tracker 可能正确定位并跟随对象,却混淆稀有或相似类别。Class-first Grouping 会丢弃这部分跟踪证据;TETA 按位置分组,单独评测 Trajectory Association,再报告 Classification。
TETA 如何处理不完整标注?
非穷尽模式下,它惩罚已标注对象 Local Cluster 内的未匹配 Prediction,但忽略所有 Cluster 之外的预测。这减少了对有效未标注对象的错误惩罚,不过 Cluster Margin 仍是一项建模假设。
TETA 与 HOTA 有什么区别?
HOTA 通常在按类别评测后平衡 Detection 与 Association;TETA 进一步分离 Localization 与 Classification,并加入面向不完整标注的 Local Cluster。对穷尽单类别数据,TETA 接近 HOTA,但使用算术平均而非几何平均。
高 TETA 能证明开放世界系统安全吗?
不能。TETA 是离线 Benchmark Aggregate,不编码分类错误成本、Confidence Calibration、时延、Cluster 外漏标、Distribution Shift 或下游规划风险;这些必须单独评测。