$\ell_0$ 正则化结构化稀疏卷积神经网络
计算机视觉与模式识别
2019-12-18 v1 机器学习
摘要
通过分别增加更多卷积层与每层更多特征图来加深和加宽卷积神经网络（CNNs），会显著增加可训练权重参数的数量。通过在训练过程中对层权重施加组间与组内稀疏性，可获得精度与稠密网络相当的压缩网络。本文提出稀疏群 lasso 的一种新变体，将 范数作用于单个权重参数，并将 范数作用于层的输出通道。为处理 范数的不可微性，我们采用变量分裂，得到一种由随机梯度下降与每轮硬阈值处理交替执行的算法。数值实验在 LeNet-5 以及分别用于 MNIST 和 CIFAR 10/100 的 wide-residual-networks 上展示。它们证明了我们所提方法在以与当前最优相当的网路稀疏化水平下取得更优测试精度的有效性。
引用
@article{arxiv.1912.07868,
title = {$\ell_0$ Regularized Structured Sparsity Convolutional Neural Networks},
author = {Kevin Bui and Fredrick Park and Shuai Zhang and Yingyong Qi and Jack Xin},
journal= {arXiv preprint arXiv:1912.07868},
year = {2019}
}