通过 $\ell_1, \ell_0$ 及变换 $\ell_1$ 惩罚学习稀疏神经网络的松弛变量分裂方法的收敛性
最优化与控制
2020-02-26 v3
摘要
神经网络稀疏化是提高效率与泛化能力的有效复杂度降低方法之一。我们考虑在稀疏促进惩罚下通过梯度下降学习具有 ReLU 激活函数的单隐藏层卷积神经网络的问题。已知当输入数据服从高斯分布时，回归问题中带真实值的无重叠网络（无惩罚）可在高概率下于多项式时间内学习。我们提出一种松弛变量分裂方法，集成阈值化与梯度下降，以克服损失函数非光滑性的不足。网络权重的稀疏性在优化（训练）过程中实现。我们证明在 及变换 惩罚下，无重叠网络可以高概率学习，且迭代权重收敛到全局极限，该极限是在新颖阈值化操作下真实权重的变换。数值实验证实了理论发现，并比较了各惩罚下精度与稀疏性的权衡。
引用
@article{arxiv.1812.05719,
title = {Convergence of a Relaxed Variable Splitting Method for Learning Sparse Neural Networks via $\ell_1, \ell_0$, and transformed-$\ell_1$ Penalties},
author = {Thu Dinh and Jack Xin},
journal= {arXiv preprint arXiv:1812.05719},
year = {2020}
}