探索特征图子空间中的线性关系以压缩卷积网络

尽管卷积神经网络（CNNs）的研究进展迅速，这些模型在真实世界中的部署常受计算资源与内存限制所制约。本文中，我们提出一种新颖的滤波器剪枝方法来压缩并加速 CNNs，以解决此问题。我们的工作基于通过特征图可视化在不同特征图子空间中识别出的线性关系。此种线性关系意味着 CNNs 中的信息存在冗余。我们的方法通过对特征图施加子空间聚类来消除卷积滤波器中的冗余。如此，网络中大部分代表性信息可在各聚类中得以保留。因此，对于大多数现有方法基于简单启发式直接移除滤波器的滤剪枝，我们的方法提供了一种有效解决方案。所提方法独立于网络结构，故可被任意现成深度学习库采用。在不同网络与任务上的实验表明，我们的方法在微调前优于现有技术，并在微调后取得最先进结果。