什么是 自动回路发现(ACDC)?
自动回路发现(ACDC)是一种基于干预的机制可解释性算法,从模型计算图出发,贪心剪除移除后对指定任务指标影响低于阈值的边。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
构建任务特定的计算图
发现前先固定模型版本、提示分布、行为指标和节点粒度。节点可以表示 Attention Head、MLP、特定词元激活或更细项,有向边表示经残差流传递的贡献。ACDC 论文强调,自动边搜索只是完整机制研究流程的一步,目标行为定义和组件语义解释仍需研究者完成。
用干预检验逐边剪枝
算法从完整图开始,自输出端反向遍历候选边。它用明确的受损参考暂时替换或消融某条边的贡献,重新执行受影响计算,并测量分布散度或任务指标变化;变化低于阈值则删除该边,否则保留并继续检查其父节点。原始实现允许配置阈值、消融、指标和图结构。
评价忠实性而不假定唯一性
应测量候选回路的忠实性、完整性、稀疏度、留出行为、受损稳健性,以及对阈值与遍历顺序的敏感度,并与人工回路、随机子图、归因方法和重复发现结果比较。后续回路非唯一性研究表明,结构差异很大的稀疏子图也可能保持同一任务,因此 ACDC 输出应被视为可审计候选。
主要特点
- 在有向模型计算图中搜索稀疏的任务相关子图
- 通过激活干预测试单条边是否可以剪除
- 从输出节点反向遍历并使用可配置效应阈值
- 依赖任务数据、图粒度、指标、受损方式和遍历顺序
- 自动化候选发现,但不自动解释保留组件的语义
- 可以恢复一种忠实回路,不证明全局最小或唯一
常见用途
- 把数千条模型边缩减为可人工分析的候选回路
- 在分析新行为前复现已有回路作为实现校验
- 比较基于干预和基于梯度的自动回路发现方法
- 测试回路对阈值、数据集和受损方案的稳定性
- 生成可审计边集合,供后续语义与因果验证
示例
Loading code...常见问题
ACDC 自动化了机制研究中的哪一部分?
ACDC 在研究者已经定义模型行为、数据集、指标、计算图粒度和干预参考之后,自动执行图中的边选择。它不会自动决定应研究什么任务,也不会为保留组件赋予可靠语义,更不能替代对部署、安全或一般能力的独立验证。
ACDC 怎样判断一条边是否可以删除?
算法暂时替换或消融该边传递的贡献,用指定散度或任务指标评价新计算,并把变化与阈值比较;变化足够小才允许剪枝。因此判断会继承指标、受损构造、归一化和样本不确定性,阈值本身也必须通过敏感度分析与留出验证。
ACDC 总能找到最小回路吗?
不能。贪心遍历会受到边顺序与阈值影响,组件交互还可能让某条边只在另一条路线存在时显得可删除。返回稀疏图不等于全局最小证明;应比较不同顺序、阈值、联合删除和优化型方法,并检查遗漏边后的完整性与替代路径。
不同 ACDC 运行可能找到不同有效回路吗?
可能。数据抽样、受损参考、遍历顺序、阈值和模型冗余路径都可能产生结构不同但行为相近的稀疏图。近期关于回路非唯一性的结果进一步说明,应报告多次运行之间的边重叠与性能分布,不能把单次恢复图称为标准机制或唯一答案。
应该怎样验证 ACDC 找到的回路?
需要测量留出任务忠实性、遗漏边对应的完整性、稀疏度、跨受损与指标稳健性,以及阈值和种子敏感度;有已知回路时还应比较恢复率和随机子图。最后再解释保留组件,并用对抗样例检查解释能否预测模型失败与分布变化。