始终信守承诺:一种面向神经网络的模型无关归因算法
机器学习
2026-03-24 v4
摘要
逐层相关性传播(LRP)通过守恒性质和深度泰勒分解的基础,为神经网络提供原则性的归因。然而,现有的实现在模块层面操作,需要特定架构的传播规则和模型修改。这些限制了目标模型的通用性和实现的可持续性,因为架构在不断演变。我们引入了DynamicLRP,一个在张量操作层面运行的模型无关LRP框架。通过将归因分解到计算图中的单个操作,并引入一种名为承诺系统(Promise System)的用于延迟激活解析的新机制,我们的方法在保持LRP理论保证的同时实现了真正的架构无关性。该设计独立于反向传播机制,无需修改模型,支持与梯度反向传播并行执行。基于计算图,该方法理论上可扩展到其他支持自动微分的深度学习库。我们在忠实度上匹配或超越了专门的实现(VGG上1.77 vs 1.69 ABPC,在ViT上等效性能,在SQuADv2上解释RoBERTa-large和Flan-T5-large答案的top-1归因准确率分别为93.70%和95.06%),同时在1亿至10亿参数模型上保持了实际效率。我们在来自15种不同架构的31,465个计算图节点上实现了99.92%的节点覆盖率,包括状态空间模型(Mamba)、音频变换器(Whisper)和多模态系统(DePlot),无需任何模型特定代码,实现了47种基本操作的规则。我们的操作级分解和承诺系统为LRP在不断演变的架构中建立了可持续、可扩展的基础。所有代码可在 https://github.com/keeinlev/dynamicLRP 获取。
引用
@article{arxiv.2512.07010,
title = {Always Keep Your Promises: A Model-Agnostic Attribution Algorithm for Neural Networks},
author = {Kevin Lee and Duncan Smith-Halverson and Pablo Millan Arias},
journal= {arXiv preprint arXiv:2512.07010},
year = {2026}
}
备注
Manuscript under review