稀疏子网络是否表现出认知对齐注意力？剪枝对注意力图忠实度、稀疏性与概念一致性的影响
计算机视觉与模式识别
2025-10-07 v3 人工智能
机器学习
摘要
先前研究表明，神经网络在保持性能的前提下可以进行大量剪枝，但剪枝对模型可解释性的影响尚不明确。本文我们探讨了基于幅值剪枝随后微调的做法如何影响低层注意力图和高层概念表示。在使用在 ImageNette 上训练的 ResNet-18 时，我们比较了在不同剪枝水平下，Vanilla Gradients（VG）和 Integrated Gradients（IG）的后置解释，评估稀疏性和忠实度。我们进一步应用 CRAFT-based 概念提取来跟踪语义一致性变化。我们的结果表明，轻度至中度剪枝可提高注意力图的聚焦度和忠实度，同时保留清晰且语义上有意义的概念。相比之下，过度剪枝会合并异构特征，降低注意力图稀疏性和概念一致性，尽管保持准确性。这些发现表明，尽管剪枝可以塑造内部表征以趋向更符合人类注意力模式，但过度剪枝会破坏可解释性。
引用
@article{arxiv.2509.21387,
title = {Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence},
author = {Sanish Suwal and Dipkamal Bhusal and Michael Clifford and Nidhi Rastogi},
journal= {arXiv preprint arXiv:2509.21387},
year = {2025}
}
备注
4 pages, neurips workshop