什么是 自动回路发现(ACDC)?

自动回路发现(ACDC)是一种基于干预的机制可解释性算法,从模型计算图出发,贪心剪除移除后对指定任务指标影响低于阈值的边。

快速了解

规范文档官方规范

工作原理

构建任务特定的计算图

发现前先固定模型版本、提示分布、行为指标和节点粒度。节点可以表示 Attention Head、MLP、特定词元激活或更细项,有向边表示经残差流传递的贡献。ACDC 论文强调,自动边搜索只是完整机制研究流程的一步,目标行为定义和组件语义解释仍需研究者完成。

用干预检验逐边剪枝

算法从完整图开始,自输出端反向遍历候选边。它用明确的受损参考暂时替换或消融某条边的贡献,重新执行受影响计算,并测量分布散度或任务指标变化;变化低于阈值则删除该边,否则保留并继续检查其父节点。原始实现允许配置阈值、消融、指标和图结构。

评价忠实性而不假定唯一性

应测量候选回路的忠实性、完整性、稀疏度、留出行为、受损稳健性,以及对阈值与遍历顺序的敏感度,并与人工回路、随机子图、归因方法和重复发现结果比较。后续回路非唯一性研究表明,结构差异很大的稀疏子图也可能保持同一任务,因此 ACDC 输出应被视为可审计候选。

主要特点

  • 在有向模型计算图中搜索稀疏的任务相关子图
  • 通过激活干预测试单条边是否可以剪除
  • 从输出节点反向遍历并使用可配置效应阈值
  • 依赖任务数据、图粒度、指标、受损方式和遍历顺序
  • 自动化候选发现,但不自动解释保留组件的语义
  • 可以恢复一种忠实回路,不证明全局最小或唯一

常见用途

  1. 把数千条模型边缩减为可人工分析的候选回路
  2. 在分析新行为前复现已有回路作为实现校验
  3. 比较基于干预和基于梯度的自动回路发现方法
  4. 测试回路对阈值、数据集和受损方案的稳定性
  5. 生成可审计边集合,供后续语义与因果验证

示例

loading...
Loading code...

常见问题

ACDC 自动化了机制研究中的哪一部分?

ACDC 在研究者已经定义模型行为、数据集、指标、计算图粒度和干预参考之后,自动执行图中的边选择。它不会自动决定应研究什么任务,也不会为保留组件赋予可靠语义,更不能替代对部署、安全或一般能力的独立验证。

ACDC 怎样判断一条边是否可以删除?

算法暂时替换或消融该边传递的贡献,用指定散度或任务指标评价新计算,并把变化与阈值比较;变化足够小才允许剪枝。因此判断会继承指标、受损构造、归一化和样本不确定性,阈值本身也必须通过敏感度分析与留出验证。

ACDC 总能找到最小回路吗?

不能。贪心遍历会受到边顺序与阈值影响,组件交互还可能让某条边只在另一条路线存在时显得可删除。返回稀疏图不等于全局最小证明;应比较不同顺序、阈值、联合删除和优化型方法,并检查遗漏边后的完整性与替代路径。

不同 ACDC 运行可能找到不同有效回路吗?

可能。数据抽样、受损参考、遍历顺序、阈值和模型冗余路径都可能产生结构不同但行为相近的稀疏图。近期关于回路非唯一性的结果进一步说明,应报告多次运行之间的边重叠与性能分布,不能把单次恢复图称为标准机制或唯一答案。

应该怎样验证 ACDC 找到的回路?

需要测量留出任务忠实性、遗漏边对应的完整性、稀疏度、跨受损与指标稳健性,以及阈值和种子敏感度;有已知回路时还应比较恢复率和随机子图。最后再解释保留组件,并用对抗样例检查解释能否预测模型失败与分布变化。

相关术语