基于偏最小二乘的深层神经网络剪枝
计算机视觉与模式识别
2019-09-20 v3
摘要
现代模式识别方法基于卷积网络，因为它们能够学习有益于分类的复杂模式。然而，卷积网络计算代价高且需要大量内存，这限制了它们在低功耗和资源受限系统上的部署。为解决这些问题，近期方法提出了剪枝策略，以发现并移除这些网络中不重要的神经元（即滤波器）。尽管取得了显著成果，现有剪枝方法仍效率低下，因为原始网络的精度会下降。在本文中，我们提出一种从卷积网络中高效移除滤波器的新方法。我们的方法基于滤波器在低维空间上与类标签的关系来估计其重要性。该关系使用偏最小二乘（Partial Least Squares, PLS）和投影变量重要性（Variable Importance in Projection, VIP）计算。我们的方法能够减少多达 67% 的浮点运算（FLOPs）而不损害网络精度。在精度可忽略下降的情况下，我们可减少多达 90% 的 FLOPs。此外，有时该方法甚至能够提高与原始未剪枝网络相比的精度。我们表明，采用 PLS+VIP 作为检测待移除滤波器的准则优于近期最先进剪枝方法所使用的特征选择技术。最后，我们表明与最先进剪枝方法相比，所提方法实现了最高的 FLOPs 减少量和最小的精度下降。代码见：https://github.com/arturjordao/PruningNeuralNetworks
引用
@article{arxiv.1810.07610,
title = {Pruning Deep Neural Networks using Partial Least Squares},
author = {Artur Jordao and Ricardo Kloss and Fernando Yamada and William Robson Schwartz},
journal= {arXiv preprint arXiv:1810.07610},
year = {2019}
}