用于稀疏卷积神经网络的交替方向乘子法
神经与进化计算
2017-01-17 v3
摘要
卷积神经网络(CNNs)的存储和计算需求在低功耗或嵌入式设备上部署时可能难以承受。本文通过最小化一个目标函数来降低CNN的计算复杂度，该目标函数包括在识别损失上增加的稀疏促进惩罚项。网络的稀疏结构通过广泛适用于大规模优化问题的交替方向乘子法(ADMM)来识别。该方法在促进网络稀疏性和优化识别性能之间交替进行，从而可以利用对应目标函数的两部分结构。特别地，我们利用稀疏诱导惩罚函数的可分离性，将最小化问题分解为可顺序求解的子问题。将我们的方法应用于多种最先进的CNN模型，所提方法能够简化原始模型，生成计算量更少、参数更少的模型，同时保持并经常提升泛化性能。在多种模型上的实验成果强有力地验证了所提出的基于ADMM的方法可以作为简化和改进深度CNN的有用工具。
引用
@article{arxiv.1611.01590,
title = {Alternating Direction Method of Multipliers for Sparse Convolutional Neural Networks},
author = {Farkhondeh Kiaee and Christian Gagné and Mahdieh Abbasi},
journal= {arXiv preprint arXiv:1611.01590},
year = {2017}
}
备注
Under review as a conference paper at ICLR 2017. arXiv admin note: text overlap with arXiv:1111.6188 by other authors