$S^{2}$-LBI：用于精简深度学习的随机分裂线性化 Bregman 迭代

Yanwei Fu; Donghao Li; Xinwei Sun; Shun Zhang; Yizhou Wang; Yuan Yao

$S^{2}$-LBI：用于精简深度学习的随机分裂线性化 Bregman 迭代

机器学习 2019-04-25 v1 计算机视觉与模式识别机器学习

作者: Yanwei Fu , Donghao Li , Xinwei Sun , Shun Zhang , Yizhou Wang , Yuan Yao

摘要

本文提出一种新颖的随机分裂线性化 Bregman 迭代（ $S^{2}$ -LBI）算法，以高效训练深度网络。 $S^{2}$ -LBI 引入了具有结构稀疏性的迭代正则化路径。我们的 $S^{2}$ -LBI 结合了 LBI 的计算效率，以及在学习结构稀疏性上的模型选择一致性。所求解路径本质上使我们能够扩充或简化网络，这在理论上得益于我们 $S^{2}$ -LBI 算法的动力学性质。实验结果在 MNIST 与 CIFAR-10 数据集上验证了我们的 $S^{2}$ -LBI。例如，在 MNIST 上，我们仅用 1.5K 参数（1 个含 5 个滤波器的卷积层与 1 个全连接层）的网络即可达到 98.40\% 识别准确率；或可在 LeNet-5 网络中简化 $82.5\%$ 的参数，仍达到 98.47\% 识别准确率。此外，我们也在 ImageNet 上取得了学习结果，将增补于本报告下一版本。

关键词

随机分裂线性化 Bregman 迭代深度学习结构稀疏性网络剪枝模型选择 MNIST CIFAR-10

引用

@article{arxiv.1904.10873,
  title  = {$S^{2}$-LBI: Stochastic Split Linearized Bregman Iterations for Parsimonious Deep Learning},
  author = {Yanwei Fu and Donghao Li and Xinwei Sun and Shun Zhang and Yizhou Wang and Yuan Yao},
  journal= {arXiv preprint arXiv:1904.10873},
  year   = {2019}
}

备注

technical report

$S^{2}$-LBI：用于精简深度学习的随机分裂线性化 Bregman 迭代

摘要

关键词

引用

备注

相关论文