什么是 网络剖析(Network Dissection)?
网络剖析(Network Dissection)是一种事后可解释方法,通过比较单个隐藏单元的阈值空间激活图与像素级概念掩码,量化该单元与人类标注视觉概念的对齐程度。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
对齐单元激活与概念掩码
先固定模型检查点与卷积层,再收集各通道在像素级概念标注图像上的激活图。Network Dissection 研究使用较高激活分位数得到每个单元独有的阈值,把二值激活区域上采样,并与广泛视觉概念词表中的掩码比较。所有单元必须使用一致的预处理与插值协议。
用交并比识别候选检测器
针对一个单元和一个概念,汇总合格图像上的二值掩码交集与并集,再计算 Intersection over Union(IoU)。只有最佳概念超过公开阈值时才赋予标签,未匹配应保留为合法结果。记录层、单元、分位数、数据集版本、概念频次、缩放规则、IoU 聚合与平局策略,才能复现检测器数量。
区分语义对齐与真实机制
一个概念可能分布在多个单元上,一个单元也可能具有多义性。旋转表征可以保持网络行为不变,却改变哪些坐标轴看起来可解释,因此检测器数量依赖表征基底。数据不平衡和缺失概念也限制可命名范围。需要通过消融、激活替换或受控合成测试对齐单元对行为是否必要或充分。
主要特点
- 用像素级语义标注评估单个空间隐藏单元
- 把激活图阈值化,并用 IoU 与概念掩码比较
- 依赖网络层、激活分位数、上采样规则与概念词表
- 允许单元保持未匹配,而不是强制分配标签
- 可能遗漏分布式概念,也可能给多义单元分配单一标签
- 测量表征对齐,而不是对预测的因果贡献
常见用途
- 比较不同架构中概念对齐单元的数量与类型
- 审计场景模型是否学习对象、材质、纹理或颜色
- 定位与前景或背景捷径相关的候选通道
- 为单元级消融与激活干预生成假设
- 检验训练目标或监督方式如何改变可解释单元数量
示例
Loading code...常见问题
Network Dissection 测量的是什么?
它测量阈值化隐藏单元激活图与人工标注概念掩码之间的空间重合,通常在数据集上聚合 IoU。结果说明某个单元轴在声明协议下与词表概念对齐,并不直接衡量该单元对预测的重要性或模型是否因果使用它。
网络剖析怎样选择激活阈值?
常见协议从该单元的激活分布选择较高分位数,再把对应阈值应用到评估图像。分位数、采样总体、插值方法和分辨率必须固定并公开。看过标签之后再挑阈值会虚高检测器数量,也会让模型间比较失效。
为什么概念词表会影响结果?
单元只能获得数据集已经定义并标注的概念标签。缺失概念即使语义一致也会显示为未匹配,宽泛或不平衡标签则可能主导得分。只有固定词表、标注版本、概念支持量和图像分布,跨模型比较才可信。
Network Dissection 能识别分布式概念吗?
标准的逐单元分析很难可靠识别。一个概念若分散在多个通道,可能没有任何单元获得高 IoU;多义单元也可能在不同上下文对应不同概念。子空间方法、多变量探针与干预实验可以补充单坐标轴分析。
高 IoU 单元是否导致了模型决策?
不能这样推断。高 IoU 只建立激活区域与标注区域的表征对齐;该单元可能是冗余的,下游也可能忽略它,两个掩码还可能共同追踪第三种相关因素。应通过受控消融、替换或刺激,并结合负对照测量类别行为。