用于剪枝具有复杂结构的极深卷积网络的中心化 SGD
机器学习
2019-04-09 v1 计算机视觉与模式识别
机器学习
摘要
卷积神经网络（CNNs）中的冗余已被广泛认知，这使得能够从卷积层中移除不重要的滤波器，从而在可接受的性能下降下精简网络。受卷积的线性与组合性质启发，我们力求使若干滤波器逐渐接近并最终在参数超空间中等同于一点，以实现网络瘦身。为此，我们提出中心化 SGD（C-SGD），一种新颖的优化方法，可训练若干滤波器坍缩至参数超空间中的单个点。训练完成后，移除这些相同滤波器可修剪网络且不造成性能损失，因此无需微调。通过这种方式，我们部分解决了具有复杂结构的 CNN 上约束滤波器剪枝这一开放问题，其中某些层必须跟随其他层被剪枝。我们在 CIFAR-10 与 ImageNet 上的实验结果证明了基于 C-SGD 的滤波器剪枝的有效性。此外，我们通过展示使用 C-SGD 训练的冗余 CNN 优于同等宽度的常规训练对应网络，为深度神经网络中冗余有助于训练收敛的假设提供了经验证据。
引用
@article{arxiv.1904.03837,
title = {Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure},
author = {Xiaohan Ding and Guiguang Ding and Yuchen Guo and Jungong Han},
journal= {arXiv preprint arXiv:1904.03837},
year = {2019}
}
备注
CVPR 2019