什么是 MOTSA 与 sMOTSA?
MOTSA 与 sMOTSA 是把 MOTA 扩展到像素 Mask 的多对象跟踪分割指标,其中 sMOTSA 用每个匹配 Mask 的 Intersection over Union 取代硬 True-positive Count。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
在每一帧匹配互不重叠的实例 Mask
Ground Truth 与预测 Mask 在每帧按 Mask IoU 匹配,原始协议要求 IoU 大于 0.5。MOTS 的单份结果或标注内部 Mask 互不重叠,因此不可能有多个 Prediction 同时与同一 Truth Mask 达到超过 0.5 的 IoU。Evaluator 会先处理 Ignore Region 与相邻类别,再把未匹配预测计为 FP。
MOTS 原始论文还根据 Ground Truth Trajectory 随时间关联到的预测身份定义 Identity Switch。Mask Representation、Overlap Threshold、Ignore Policy 或 Switch Convention 变化都会改变结果。
区分硬准确率与软 Mask 信用
令 M 为全部 Ground Truth Mask,并令 softTP = sum IoU(h, c(h)) 汇总已接受的预测—真值 Match,则 MOTSA = (TP - FP - IDS) / |M|,等价于 1 - (FN + FP + IDS) / |M|。只要通过门限,每个 TP 都获得完整单位信用。
sMOTSA = (softTP - FP - IDS) / |M| 用 Mask Overlap 取代单位信用;MOTSP = softTP / TP 则表示已接受 Match 的平均 IoU。当 FP 与 IDS 成本超过匹配信用时,MOTSA 和 sMOTSA 都可能为负。
用分解项诊断像素级跟踪
官方 MOTS Evaluation Tools先跨序列累加 TP、FN、FP、IDS 与 IoU Sum,再计算数据集级分数;不按 Benchmark 权重直接平均各序列 Ratio 会得到不同结果。
sMOTSA 上升可能来自 Mask 更准、漏失更少、虚假 Mask 更少或 Identity Switch 更少,无法单独指出哪个子系统改善。应同时报告 MOTSA、MOTSP、原始计数、HOTA 分量及任务时延或安全切片。J&F 面向 Prompt 或首帧引导的视频目标分割,不使用相同的对象发现与身份惩罚。
主要特点
- 评测具有时间身份的实例分割 Mask
- 使用大于 0.5 的 Mask IoU 接受 Match
- MOTSA 为每个已接受 Match 提供单位信用
- sMOTSA 用累计 Mask IoU 取代硬 TP 信用
- 扣除 False Positive 与 Identity Switch
- 可能为负且依赖 Ignore 与 Aggregation Rule
常见用途
- 复现 KITTI MOTS 与 MOTSChallenge 评测
- 比较联合检测、分割与跟踪系统
- 衡量 Mask Quality 是否改变跟踪准确率
- 审计像素级对象 Track 的 Identity Switch
- 与 HOTA 分量一起报告历史 MOTS 指标
示例
Loading code...常见问题
MOTSA 与 sMOTSA 如何计算?
MOTSA 用 `TP - FP - IDS` 除以 Ground Truth Mask 数;sMOTSA 把 TP 替换为已接受 Match 的 Mask IoU Sum。两者都必须使用 Benchmark 声明的 Matching 与 Ignore Rule 累加计数。
MOTSA 与 sMOTSA 有什么区别?
MOTSA 对每个通过门限的 Mask Match 都给予完整信用,即使 IoU 只略高于门限;sMOTSA 只给予对应 IoU 数值的信用,因此把分割质量纳入综合跟踪得分。
sMOTSA 与 MOTSP 有什么区别?
sMOTSA 用 IoU Sum 减去 FP 与 IDS,再除以全部 Ground Truth Mask;MOTSP 只用 IoU Sum 除以 TP,因此它衡量已接受 Match 的定位质量,不直接惩罚漏失或额外 Mask。
MOTSA 或 sMOTSA 可以为负吗?
可以。它们上界为一,但 False Positive 与 Identity Switch 可能超过获得信用的 TP 或 IoU Mass;负分表示在该协议下惩罚大于匹配信用。
MOTSA、sMOTSA 与 J&F 有什么区别?
MOTSA 与 sMOTSA 面向多对象 Track,同时评测发现、身份与 Mask;DAVIS J&F 平均任务指定对象的区域重叠与边界质量,其半监督和无监督协议还采用不同身份或 Proposal Matching。