深度神经网络中的结构化稀疏学习
神经与进化计算
2016-10-19 v4 机器学习
机器学习
摘要
对计算资源的高需求严重阻碍了大规模深度神经网络(DNN)在资源受限设备上的部署。本文中，我们提出一种结构化稀疏学习(SSL)方法来正则化DNN的结构（即滤波器、通道、滤波器形状和层深度）。SSL能够：(1) 从更大的DNN中学习紧凑结构以降低计算成本；(2) 获得DNN的硬件友好型结构化稀疏，从而高效加速DNN的评估。实验结果表明，使用现成库，SSL在CPU和GPU上分别实现AlexNet卷积层计算平均5.1倍和3.1倍的加速。这些加速约为非结构化稀疏加速的两倍；(3) 正则化DNN结构以提升分类精度。结果显示，对于CIFAR-10，层深度上的正则化可将深度残差网络(ResNet)的20层减至18层，同时将准确率从91.25%提升至92.60%，仍略高于原始32层ResNet的准确率。对于AlexNet，SSL的结构正则化也令误差降低约1%。开源代码见 https://github.com/wenwei202/caffe/tree/scnn
引用
@article{arxiv.1608.03665,
title = {Learning Structured Sparsity in Deep Neural Networks},
author = {Wei Wen and Chunpeng Wu and Yandan Wang and Yiran Chen and Hai Li},
journal= {arXiv preprint arXiv:1608.03665},
year = {2016}
}
备注
Accepted by NIPS 2016