修剪何时能改善视觉表征？
计算机视觉与模式识别
2025-07-09 v3
摘要
修剪在降低深度学习模型复杂度方面广泛应用，但其对可解释性和表征学习的影响仍鲜为人知。本文探讨了修剪如何影响视觉模型，这涉及三个关键维度：(i) 可解释性，(ii) 无监督目标发现，以及 (iii) 与人类感知的对齐。我们首先分析不同的视觉网络架构，检验不同稀疏度对特征归因可解释性方法的影响。此外，我们探讨修剪是否促进更简洁且结构化的表征，可能通过丢弃冗余信息来改进无监督目标发现，从而保留关键特征。最后，我们评估修剪是否增强了模型表征与人类感知之间的对齐，探讨稀疏模型是否聚焦于类似人类的更具辨识力的特征。我们的发现还揭示了存在sweet spot，即稀疏模型在可解释性、下游泛化和人类对齐方面表现更佳。然而，这些点高度依赖于网络架构及其可训练参数规模。我们的结果表明，这三个维度之间存在复杂的相互作用，强调必须研究修剪何时及如何才能改善视觉表征的重要性。
引用
@article{arxiv.2507.01722,
title = {When Does Pruning Benefit Vision Representations?},
author = {Enrico Cassano and Riccardo Renzulli and Andrea Bragagnolo and Marco Grangetto},
journal= {arXiv preprint arXiv:2507.01722},
year = {2025}
}
备注
Accepted at the 23rd International Conference on Image Analysis and Processing (ICIAP 2025)