SPADE：面向深度神经网络的稀疏性引导调试方法
机器学习
2024-07-22 v2
摘要
已知稀疏性可提升深度神经网络的可解释性。然而，该领域现有方法要么要求以稀疏性约束预训练网络，要么在事后强加稀疏性，从而改变网络的一般行为。本文首次证明，稀疏性可作为样本特定的预处理步骤，纳入解释过程本身。与以往工作不同，我们将此方法称为SPADE，它不对训练好的模型施加约束，也不影响其在样本推理时的行为。给定训练好的模型与目标样本，SPADE使用面向样本的剪枝提供网络在该样本上执行的“轨迹”，在计算解释前将网络精简至最重要的连接。我们证明，使用SPADE预处理显著提升了多种可解释性方法中图像显著图的准确性。此外，SPADE改进了神经元可视化的有用性，帮助人类推理网络行为。我们的代码见 https://github.com/IST-DASLab/SPADE。
引用
@article{arxiv.2310.04519,
title = {SPADE: Sparsity-Guided Debugging for Deep Neural Networks},
author = {Arshia Soltani Moakhar and Eugenia Iofinova and Elias Frantar and Dan Alistarh},
journal= {arXiv preprint arXiv:2310.04519},
year = {2024}
}
备注
Published at ICML 2024. 33 pages