探究网络剪枝对性能与可解释性的影响
机器学习
2026-05-26 v3 计算机视觉与模式识别
摘要
深度神经网络（DNN）通常过度参数化以适应任务，通过移除权重的剪枝可显著压缩网络。我们研究了不同剪枝技术对 GoogLeNet 分类性能和可解释性的影响。我们系统性地应用非结构化剪枝、结构化剪枝以及连接稀疏性（输入权重剪枝）方法，并分析其在 ImageNet 验证集上的网络性能。我们还比较了不同的再训练策略，如迭代剪枝和一次性剪枝。我们发现，在有足够的再训练 epoch 后，网络的性能可以接近或超过默认 GoogLeNet。在评估可解释性时，我们采用了由 Zimmmann 等人开发的机械可解释性得分（MIS）。我们的实验表明，在使用 MIS 作为衡量标准时，剪枝率与可解释性之间不存在显著关系。此外，我们观察到性能极低的网络仍可获得高得分，表明 MIS 不一定总是与直观的可解释性观念一致，例如理解正确决策的基础。
引用
@article{arxiv.2409.19727,
title = {Investigating the Effect of Network Pruning on Performance and Interpretability},
author = {Jonathan von Rad and Florian Seuffert},
journal= {arXiv preprint arXiv:2409.19727},
year = {2026}
}
备注
4 pages, 6 figures