LibraGrad：平衡梯度流以实现更通用的视觉 Transformer 解释
计算机视觉与模式识别
2024-11-27 v1 人工智能
机器学习
摘要
为何梯度基方法在 Transformer 中难以实现，而如何改进它们？我们识别到 Transformer 中存在的梯度流不平衡，这些不平衡违反了 FullGrad-完整性——这是一种关键属性，CNN 天然具备，对于解释的忠实性至关重要。为解决此问题，我们引入了 LibraGrad——一种在理论上得到支撑的后处理方法，通过修剪和缩放反向路径来纠正梯度不平衡，而无需修改前向传播或增加计算开销。我们使用三个指标族进行 LibraGrad 的评估：忠实性——量化在最相关和最不相关特征的扰动下预测的变化；完整性误差——衡量归因与模型输出之间的守恒关系；以及分段 AP——评估其与人类感知的对齐程度。广泛的实验显示，LibraGrad 在 8 个架构、4 个模型规模和 4 个数据集上普遍提升梯度基方法，无论是在各类指标上均优于现有白盒方法——包括针对 Transformer 的特定方法——表现出色。我们通过两种互补的评估展示了其卓越的定性结果：在 CLIP 模型上实现精准的文本提示区域突出显示，在 ImageNet 微调模型上实现对共现动物的准确类别判别——这两个场景是现有方法常常难以应对的设置。LibraGrad 甚至对注意力-free MLP-Mixer 架构也有效，表明其潜力可扩展至其他现代架构。我们的代码已公开于 https://github.com/NightMachinery/LibraGrad。
关键词
引用
@article{arxiv.2411.16760,
title = {LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions},
author = {Faridoun Mehri and Mahdieh Soleymani Baghshah and Mohammad Taher Pilehvar},
journal= {arXiv preprint arXiv:2411.16760},
year = {2024}
}