什么是 稀疏自编码器？
稀疏自编码器是通过只允许少量潜变量激活来重建输入的编码器—解码器模型，常用过完备字典从神经网络激活中恢复候选特征。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
在稀疏约束下优化重建
编码器计算潜变量激活，稀疏机制保留少量活跃项，解码器再组合学习到的字典向量重建输入。常见方案使用 L1 惩罚、Top-K 选择、阈值或相关约束。提高稀疏度能改善可检查性，却可能丢失信号；扩大字典可改善重建，却也可能产生重复或不稳定潜变量。
把潜变量当作待验证的特征假设
研究者会检查哪些输入激活某个潜变量、汇总最高激活样本，并干预对应的解码器方向。单义特征研究展示了稀疏字典如何从模型激活中暴露可解释结构。但自动标签、精选样本和表面连贯性都可能掩盖上下文依赖或混合功能。
同时评估字典质量与行为证据
应跟踪重建误差、解释方差、每个词元的活跃潜变量数、死亡特征率、激活频率、特征拆分与吸收，以及跨随机种子或数据集的稳定性。随后检验潜变量干预能否比神经元或随机方向基线更好地预测模型行为。低重建误差不保证语义清晰，语义清晰也不保证具有因果重要性。
主要特点
- 把稠密输入编码为只有少量非零项的潜变量向量
- 可使用潜变量数量多于输入维度的过完备字典
- 在重建保真度、稀疏度和字典复杂度之间权衡
- 生成的候选特征仍需通过样本与因果干预解释
- 可能出现死亡潜变量、重复、特征拆分或吸收
- 需要从重建、稀疏、稳定和行为四个层面评估
常见用途
- 把 Transformer 残差流或 MLP 激活分解为候选特征
- 研究在神经元层面表现为多义性的内部表征
- 构建面向模型分析和监控的特征级仪表盘
- 检验学习到的潜方向是否会因果改变模型输出
- 比较不同层、检查点或数据集上的特征字典
示例
Loading code...常见问题
稀疏自编码器与普通自编码器有什么区别？
两者都通过潜变量重建输入，但 SAE 会明确鼓励每个输入只激活少量潜变量，并且可以采用潜变量多于输入维度的过完备结构。普通自编码器则常被用作压缩维度或一般表征学习模型。判断具体模型时应查看稀疏约束和字典规模，而不是只看名称。
为什么模型可解释性研究会使用稀疏自编码器？
神经网络激活可能编码许多彼此重叠、无法和单个神经元对齐的特征。SAE 学习更大的稀疏字典，有机会把部分模式拆成可检查的候选潜变量，便于研究者分析、比较和干预，但恢复出的方向仍需通过行为实验确认，而非自动获得真值。
每个 SAE 潜变量都对应一个人类可理解概念吗？
不是。一个潜变量可能混合多种上下文，也可能把同一概念拆到多个单元，甚至只捕获统计伪影。解释应结合多样化激活样本、反例、定量选择性和因果干预，不能只依赖自动生成标签，还要验证跨数据集和随机种子的稳定性。
怎样衡量稀疏自编码器的质量？
应把重建误差或解释方差，与活跃潜变量数、激活频率、死亡特征、稳定性和冗余度一起衡量。若主张可解释性，还要比较潜变量干预与神经元、随机方向和重建基线对行为的预测能力，并报告不同稀疏度和字典规模下的变化。
SAE 中的特征拆分和特征吸收是什么？
特征拆分指一个底层模式被分散到多个学习潜变量，在大字典中较常见；特征吸收指一个潜变量捕获了另一个特征的部分行为。两者都会让特征计数、命名和跨训练运行比较变得困难，因此评估不能只统计看似可解释的潜变量数量。