深度神经网络中的结构化剪枝：一种小世界方法
机器学习
2019-11-12 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）通常存在过参数化问题，导致硬件平台上内存与互连开销过大。现有剪枝方法在训练结束后移除次要参数以缩减模型规模；但由于未利用网络内在特性，仍需要完整互连来预备网络。受脑网络遵循小世界模型这一观察的启发，我们提出一种新颖的结构化剪枝方案，包括（1）在训练前将网络分层修剪为小世界模型，（2）针对给定数据集训练网络，（3）优化网络精度。该新方案有效减少了训练前所需的模型规模与互连，实现了局部聚类且全局稀疏的模型。我们在MNIST上的LeNet-5与CIFAR-10上的VGG-16上验证了该方法，将参数数量分别降至基线模型的2.3%与9.02%。
引用
@article{arxiv.1911.04453,
title = {Structural Pruning in Deep Neural Networks: A Small-World Approach},
author = {Gokul Krishnan and Xiaocong Du and Yu Cao},
journal= {arXiv preprint arXiv:1911.04453},
year = {2019}
}