PAHQ：通过混合精度推断优化加速自动电路发现
机器学习
2025-10-28 v1 人工智能
摘要
电路发现涉及在预训练语言模型中识别稀疏且任务相关的子网络，这是机理可解释性的基石。自动化电路发现（ACDC）已成为电路发现的关键方法，但其应用于大型语言模型时受限于计算效率低下和内存需求不可接受。尽管提出了几种加速方法，但它们主要依赖于ACDC的线性近似，这显著损害了分析忠实性。我们提出的加速自动化电路发现方法，称为注意力头量化（PAHQ），采取根本不同的方法，通过优化每个单独贴补操作的效率。PAHQ利用了激活贴补与混合精度量化（MPQ）之间的基本一致性：可解释性分析本质上执行的是针对性的消除实验。因此，我们可以在保持被调查组件高精度的同时，安全地降低网络其他部分的精度。PAHQ加速的ACDC在保持忠实性的同时，将运行时间缩短最高可达80%，内存消耗缩短最高可达30%。重要的是，我们的方法可以轻松集成到现有的基于边缘的电路发现技术中，通过修改注意力计算机制。该方法无需训练，为加速机理可解释性方法提供了实用且新颖的路径。我们的代码已公开：https://github.com/626619403/PAHQ。
引用
@article{arxiv.2510.23264,
title = {PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization},
author = {Xinhai Wang and Shu Yang and Liangyu Wang and Lin Zhang and Huanyi Xie and Lijie Hu and Di Wang},
journal= {arXiv preprint arXiv:2510.23264},
year = {2025}
}