什么是 特征可视化（Feature Visualization）？
特征可视化（Feature Visualization）是一类可解释性方法，通过检查高激活真实样本，或合成能够优化指定激活目标的输入，刻画神经网络单元、通道、层、类别或特征方向响应什么模式。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
选择特征对象与优化目标
需要明确检查点、预处理、层、单元或方向、空间聚合方式和标量目标。最大化 Softmax 前的类别 Logit 与最大化概率并不相同，后者可能仅通过压低其他类别而上升。Feature Visualization系统展示了神经元、通道、层、Logit 与类别目标，以及塑造输出的优化选择。
使用输入先验约束优化
模型权重保持冻结，只更新输入或生成器潜变量。像素空间优化通常需要 L2 或 Total Variation 惩罚、频率控制、抖动、旋转、缩放、裁剪或学习型生成先验。这些选择会抑制部分伪影，也会限制可发现模式。报告必须包含目标、正则项、增强分布、步长、迭代数、种子与停止条件。
越过醒目图像验证语义
比较多次优化结果、自然数据中的高低激活样本、负方向、相邻单元与类别对照；条件允许时，在带概念标签的留出集上量化激活，并检验干预是否改变相关行为。可识别图像只能证明某种输入可以驱动特征，不能证明单元只表示该概念，也不能证明概念导致预测。
主要特点
- 针对明确的神经元、通道、层、类别 Logit 或特征方向
- 使用高激活真实样本或由优化生成的输入
- 保持模型参数冻结，只改变输入或生成器潜变量
- 结果强烈依赖正则化、数据增强、初始化和目标选择
- 需要多次重启与自然样本对照暴露不同响应侧面
- 展示特征偏好，但不能单独建立决策因果作用
常见用途
- 检查使卷积通道或类别 Logit 最大化的视觉模式
- 比较神经网络早期层与后期层的特征复杂度
- 诊断单元响应的是对象本身还是相关背景线索
- 为 Network Dissection、消融或稳健性测试生成假设
- 审计不同优化先验如何改变特征的表面含义
示例
Loading code...常见问题
特征可视化与归因方法有什么区别？
特征可视化询问什么输入会强烈激活指定模型特征，常通过检索样本或优化输入回答；归因方法从一个已经给定的输入出发，估计其中哪些部分促成输出或激活。两者解决不同问题，可以互相补充，但不能用其中一个结论替代另一个。
无正则特征可视化为什么常出现噪声？
神经网络可能对自然图像分布之外的高频或对抗模式产生强响应，无约束优化器会主动利用这些方向。频率惩罚、Total Variation、随机变换、裁剪与生成先验可以改变搜索空间并减少部分伪影，但每一种约束也会把自身偏好带入结果。
特征可视化应最大化类别概率还是 Logit？
类别概率可能因为其他类别被压低而上升，即使目标证据几乎没有增加。Softmax 前 Logit 更直接衡量目标方向，但仍需正则化与对照。实验应准确报告所用目标，并在解释依赖这一选择时比较 Logit、概率与对比 Logit 差。
一张合成图能揭示神经元的真实含义吗？
不能。特征可能具有多义性并响应多种模式，一次优化也可能只收敛到其中一个侧面。应使用多个随机种子、多样性约束、正负方向、自然高激活样本与相邻单元对照，再通过定量概念测试判断解释是否稳定，而非只凭主观观感命名。
特征可视化能证明某特征导致了模型预测吗？
不能。它只展示在指定目标和输入先验下能够驱动某项激活的输入。若要检验决策相关性，需要直接干预特征或对应激活，测量预先声明的输出指标，并在留出样本上检查特异性、充分性、必要性、连带行为变化与分布稳健性。