激活传输算子

残差流通过线性读取和写入非线性计算来协调转换解码器层之间的通信。虽然稀疏字典学习方法在残差流中定位特征，激活修补方法则发现模型中的电路，但特征如何通过残差流仍未受到充分研究。深入了解这一动态可以更好地 inform 恶意攻击防护，实现模型错误的早期检测及其纠正。在本工作中，我们提出了激活传输算子 (ATO)，将上游残差映射到距离下游残差 $k$ 层后的线性映射，采用下游 SAE 解码器投影在特征空间中评估。我们实证证明，这些算子可以确定特征是来自前一层的线性传输还是来自非线性层计算的合成。我们发展了传输效率的概念，提供上界，并用于估计残差流子空间中对应线性传输的规模。我们实证报告了线性传输、传输效率以及残差流子空间参与线性传输的规模。该计算轻量方法（无需微调，<50 GPU 小时）为安全、调试以及更清晰地描绘 LLM 中计算行为线性化提供了实用工具。