具有一般激活函数与池化操作的深度神经网络收敛性
机器学习
2022-10-04 v2 泛函分析
摘要
深度神经网络作为表示高维复杂函数的强大系统，在深度学习中起着关键作用。深度神经网络的收敛性是为深度学习建立数学基础的基本问题。我们在最近的两项研究（arXiv:2107.12530, 2109.13542）中考察了深度ReLU网络和深度卷积神经网络的收敛性。其中仅研究了修正线性单元（ReLU）激活函数，且未考虑重要的池化策略。在当前工作中，我们研究了当深度趋于无穷时，另外两种重要激活函数——带泄漏ReLU和sigmoid函数——的深度神经网络收敛性。池化操作也将被研究。结果表明，我们证明了arXiv:2107.12530, 2109.13542中建立的充分条件对带泄漏ReLU网络仍然充分。对于如sigmoid函数这样的压缩激活函数，我们建立了深度神经网络一致收敛的较弱充分条件。
引用
@article{arxiv.2205.06570,
title = {Convergence of Deep Neural Networks with General Activation Functions and Pooling},
author = {Wentao Huang and Yuesheng Xu and Haizhang Zhang},
journal= {arXiv preprint arXiv:2205.06570},
year = {2022}
}
备注
incomplete