什么是 马修斯相关系数(MCC)?
马修斯相关系数(MCC)是一种基于相关性的分类指标,使用混淆矩阵全部单元格衡量真实标签与预测标签的一致程度。
快速了解
| 创建时间 | 1975 年由 Brian W. Matthews 提出 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
结合计数与不确定性解释相关性
Matthews 于 1975 年提出该系数,用于比较蛋白质二级结构的预测与观测结果。不存在适用于所有任务的 MCC 优良分级表。应同时报告 TP、FP、TN、FN、发生率、阈值、不确定性和关键切片。Chicco 与 Jurman比较了不均衡二分类中的 MCC、F1 与 Accuracy,并讨论了极端零分母行为。
显式处理零分母
只要真实类别或预测类别有一类完全缺失,二分类公式的分母就可能为零。这代表证据退化,不能静默除法或随意填成满分。应保留原始矩阵,并遵守版本化的库或评测策略。当前 scikit-learn 文档提供二分类与多分类实现;可复现实验必须固定实现版本和样本权重。
区分二分类公式与多分类扩展
常见四计数公式只适用于二分类。多分类 MCC 使用完整 K x K 列联表推广相关性,不是简单平均多个独立二分类公式。报告应公开类别集合与混淆矩阵,并继续保留逐类精确率和召回率,因为一个全局相关系数无法说明究竟哪些类别失败。
主要特点
- 同时使用真正例、真负例、假正例和假负例
- 等价于二元真实标签与预测标签之间的 Phi Correlation
- 同时交换正类和负类名称后保持对称
- 能暴露 Accuracy 或正类 F1 可能掩盖的多数类行为
- 真实类别或预测类别支持度为零时会退化
- 具有基于完整列联表的多分类推广形式
常见用途
- 两类都必须识别良好时比较二分类器
- 复核类别不均衡数据上的高 Accuracy 或 F1
- 类别发生率变化后监控固定阈值质量
- 用一个补充性全局统计量评估多分类标签一致性
- 结合逐类错误与运营成本审计模型发布版本
示例
Loading code...常见问题
马修斯相关系数如何计算?
二分类 MCC 用 `TP*TN` 减去 `FP*FN`,再除以 `(TP+FP)(TP+FN)(TN+FP)(TN+FN)` 乘积的平方根。结果必须同时公布四项计数、类别含义、阈值、权重,以及分母为零时采用的策略。
MCC 为什么适合类别不均衡分类?
MCC 同时纳入两类正确结果与两类错误,模型只有在完整二分类表上让真实标签和预测标签保持一致,才能获得高分。这能减少多数类 Accuracy 或单一正类 F1 掩盖失败的风险,但不能消除采样不确定性。
MCC 等于零代表什么?
它表示当前评测样本和实现中,真实标签与预测标签测得的线性关联为零;这不证明每条预测都来自随机生成。解释时仍应结合原始计数、不确定性、关键切片与任务基线。
MCC 一定比 F1 更好吗?
不一定。两类都重要时,MCC 是更平衡的整体摘要;F1 则刻意聚焦正类的精确率与召回率。两者都不包含实际错误成本,应根据决策假设选择,并同时报告混淆矩阵和逐类指标。
MCC 可以用于多分类吗?
可以,但要使用完整多分类列联表上的推广公式,不能把四单元格二分类公式分别计算后直接称为多分类 MCC。还应公开库实现、类别集合、权重、混淆矩阵和逐类指标。