APP：基于任务特定剪枝的加速路径修补
机器学习
2025-11-10 v1 人工智能
计算与语言
摘要
电路发现是许多机制可解释性管道中的关键步骤。当前方法，如路径修补(Path Patching)，计算昂贵且对较小模型的深度电路分析有限。本研究提出了加速路径修补(Accelerated Path Patching，简称 APP)，一种基于我们新颖的对比注意力头剪枝方法的混合方法，显著减少电路发现方法的搜索空间。我们的对比-FLAP剪枝算法使用因果中介分析技术，为任务特定的注意力头分配更高的剪枝得分，从而在与传统剪枝技术相比的情况下，实现更高性能的稀疏模型。虽然对比-FLAP在保持任务特定注意力头方面成功，而现有剪枝算法在低稀疏度比例下会移除这些注意力头，但对比-FLAP alone 找到的电路过大，无法满足电路分析所需的最小性约束。APP首先应用对比-FLAP，通过平均减少56%的电路发现算法所需的搜索空间。接着，APP应用传统路径修补，对剩余注意力头进行修补，相对于对稠密模型应用路径修补，加速比为59.63%-93.27%。尽管APP提供了显著的计算节省，但来自APP的电路与 previously established 路径修补电路具有 substantial overlap且性能相似。
引用
@article{arxiv.2511.05442,
title = {APP: Accelerated Path Patching with Task-Specific Pruning},
author = {Frauke Andersen and William Rudman and Ruochen Zhang and Carsten Eickhoff},
journal= {arXiv preprint arXiv:2511.05442},
year = {2025}
}