什么是 积分梯度(Integrated Gradients)?

积分梯度(Integrated Gradients)是一种特征归因方法,把指定模型输出沿基线到真实输入路径的梯度积分,与各特征相对基线的差值相乘。

快速了解

规范文档官方规范

工作原理

先定义目标、基线与路径

精确选择类别 Logit、概率、损失或目标减参考分数等标量输出,再选择能代表缺失状态或有效比较对象的基线。积分梯度原始论文采用从基线到输入的直线路径,但不同合理基线回答的是不同对比问题,可能产生不同归因,不能默认全零输入在每个领域都中性。

用数值方法近似路径积分

在基线与输入之间生成插值点,逐点计算目标梯度,用明确的黎曼和或求积规则聚合,再乘以逐特征位移。增加步数直到归因向量和收敛差稳定。当前 Captum 文档提供多种数值规则、步数、内部批处理和完整性残差,调用时仍要固定模型与预处理版本。

越过完整性检查验证解释

先确认归因总和接近目标在输入与基线上的输出差,再改变基线、步数、路径、随机种子、预处理与特征分组。通过删除、插入或领域有效扰动检验高排名特征是否改变目标输出。完整性误差很小只证明数值分解自洽;相关特征、不现实基线和离流形路径仍可能误导解释。

主要特点

  • 相对于明确基线归因一个指定标量输出
  • 沿路径积分梯度,而不是只读取输入终点梯度
  • 通常采用从基线到观测输入的直线插值
  • 在方法定义下满足敏感性与实现不变性
  • 可用完整性检查对照基线到输入的输出差
  • 仍对基线语义、目标单位、路径和近似误差敏感

常见用途

  1. 相对一个或多个参考图像,把类别 Logit 归因到像素
  2. 为指定文本输出评估词元嵌入维度或词元组贡献
  3. 诊断终点梯度饱和所掩盖的重要输入变化
  4. 比较不同基线与数值步数下的解释稳定性
  5. 检查可疑特征是否影响可微模型的指定输出

示例

loading...
Loading code...

常见问题

积分梯度与普通输入梯度有什么区别?

普通显著性梯度只测量观测输入处的局部敏感度,在饱和区域可能接近零;IG 会沿基线到输入的路径平均梯度,并乘以输入差值,因此能累计整条路径上的变化。不过它也引入了普通终点梯度没有的基线和路径假设,两者回答的问题不同。

积分梯度的基线应该怎样选择?

应选择在当前应用和预处理空间中能合理表示缺失状态或比较对象的参考。全零、黑图、Padding 或均值样本在某些领域都可能失真。最好比较多种可信基线或基线分布,公开选择理由,并避免把离开数据流形的归因路径默认视为中性。

完整性属性具体保证什么?

精确积分时,各特征归因之和等于目标输出在真实输入与基线上的差值;数值实现会报告残差或收敛差。较小误差只能说明分解在数值上自洽,不能证明基线有正确语义、目标单位合适,也不能证明高分特征是现实结果的成因。

积分梯度可以解释文本模型吗?

可以,但离散词元之间没有天然连续路径。实现通常在 Embedding 空间中,相对 Padding、零向量或参考序列插值,再把维度贡献聚合到词元。Tokenizer、Embedding Layer、特殊词元、基线序列、目标位置与聚合规则都必须记录和验证。

积分梯度能建立特征的因果重要性吗?

不能。IG 沿数学路径分解一次模型输出变化,可以揭示当前设置下的敏感性,却不能识别现实结果的因果来源;相关特征还会改变贡献如何分配。更强主张需要领域有效的干预、反事实设计、留出测试和明确的因果识别假设。

相关术语

相关文章