带阈值激活函数神经网络的全局最优训练
机器学习
2023-03-07 v1 机器学习
摘要
阈值激活函数因其在硬件实现中的高效性而在神经网络中备受青睐。此外，其运作模式更具可解释性，且类似于生物神经元。然而，传统基于梯度的算法（如梯度下降）无法用于训练带阈值激活的神经网络参数，因为该激活函数除单个不可微点外梯度为零。为此，我们研究带阈值激活的深度神经网络的权值衰减正则化训练问题。我们首先证明，只要最后隐藏层宽度超过某一阈值，正则化深度阈值网络训练问题可等价表述为标准凸优化问题，这与 LASSO 方法类似。当数据集可在网络某层被打散时，我们也推导出一种简化的凸优化表述。我们通过多种数值实验佐证了理论结果。
引用
@article{arxiv.2303.03382,
title = {Globally Optimal Training of Neural Networks with Threshold Activation Functions},
author = {Tolga Ergen and Halil Ibrahim Gulluk and Jonathan Lacotte and Mert Pilanci},
journal= {arXiv preprint arXiv:2303.03382},
year = {2023}
}
备注
Accepted to ICLR 2023