什么是 网络剖析(Network Dissection)?

网络剖析(Network Dissection)是一种事后可解释方法,通过比较单个隐藏单元的阈值空间激活图与像素级概念掩码,量化该单元与人类标注视觉概念的对齐程度。

快速了解

规范文档官方规范

工作原理

对齐单元激活与概念掩码

先固定模型检查点与卷积层,再收集各通道在像素级概念标注图像上的激活图。Network Dissection 研究使用较高激活分位数得到每个单元独有的阈值,把二值激活区域上采样,并与广泛视觉概念词表中的掩码比较。所有单元必须使用一致的预处理与插值协议。

用交并比识别候选检测器

针对一个单元和一个概念,汇总合格图像上的二值掩码交集与并集,再计算 Intersection over Union(IoU)。只有最佳概念超过公开阈值时才赋予标签,未匹配应保留为合法结果。记录层、单元、分位数、数据集版本、概念频次、缩放规则、IoU 聚合与平局策略,才能复现检测器数量。

区分语义对齐与真实机制

一个概念可能分布在多个单元上,一个单元也可能具有多义性。旋转表征可以保持网络行为不变,却改变哪些坐标轴看起来可解释,因此检测器数量依赖表征基底。数据不平衡和缺失概念也限制可命名范围。需要通过消融、激活替换或受控合成测试对齐单元对行为是否必要或充分。

主要特点

  • 用像素级语义标注评估单个空间隐藏单元
  • 把激活图阈值化,并用 IoU 与概念掩码比较
  • 依赖网络层、激活分位数、上采样规则与概念词表
  • 允许单元保持未匹配,而不是强制分配标签
  • 可能遗漏分布式概念,也可能给多义单元分配单一标签
  • 测量表征对齐,而不是对预测的因果贡献

常见用途

  1. 比较不同架构中概念对齐单元的数量与类型
  2. 审计场景模型是否学习对象、材质、纹理或颜色
  3. 定位与前景或背景捷径相关的候选通道
  4. 为单元级消融与激活干预生成假设
  5. 检验训练目标或监督方式如何改变可解释单元数量

示例

loading...
Loading code...

常见问题

Network Dissection 测量的是什么?

它测量阈值化隐藏单元激活图与人工标注概念掩码之间的空间重合,通常在数据集上聚合 IoU。结果说明某个单元轴在声明协议下与词表概念对齐,并不直接衡量该单元对预测的重要性或模型是否因果使用它。

网络剖析怎样选择激活阈值?

常见协议从该单元的激活分布选择较高分位数,再把对应阈值应用到评估图像。分位数、采样总体、插值方法和分辨率必须固定并公开。看过标签之后再挑阈值会虚高检测器数量,也会让模型间比较失效。

为什么概念词表会影响结果?

单元只能获得数据集已经定义并标注的概念标签。缺失概念即使语义一致也会显示为未匹配,宽泛或不平衡标签则可能主导得分。只有固定词表、标注版本、概念支持量和图像分布,跨模型比较才可信。

Network Dissection 能识别分布式概念吗?

标准的逐单元分析很难可靠识别。一个概念若分散在多个通道,可能没有任何单元获得高 IoU;多义单元也可能在不同上下文对应不同概念。子空间方法、多变量探针与干预实验可以补充单坐标轴分析。

高 IoU 单元是否导致了模型决策?

不能这样推断。高 IoU 只建立激活区域与标注区域的表征对齐;该单元可能是冗余的,下游也可能忽略它,两个掩码还可能共同追踪第三种相关因素。应通过受控消融、替换或刺激,并结合负对照测量类别行为。

相关术语

相关文章