深度 ReLU 网络的收敛性
机器学习
2023-01-11 v3 泛函分析
摘要
我们研究了使用流行的 ReLU 激活函数的深度神经网络在网络的深度趋于无穷时的收敛性。为此，我们引入了 ReLU 网络的激活域与激活矩阵的概念。通过将 ReLU 激活函数的应用替换为在激活域上与激活矩阵的乘法，我们得到了 ReLU 网络的显式表达式。随后，我们将 ReLU 网络的收敛性归结为某一类矩阵无穷乘积的收敛性。我们研究了这些矩阵无穷乘积收敛的充分必要条件。据此，我们建立了 ReLU 网络收敛的必要条件：随着 ReLU 网络深度增至无穷，权重矩阵序列收敛到单位矩阵，且偏置向量序列收敛到零。此外，我们给出了关于隐藏层权重矩阵与偏置向量的充分条件，以保证深度 ReLU 网络的点态收敛。这些结果为图像分类中著名的深度残差网络的设计策略提供了数学见解。
引用
@article{arxiv.2107.12530,
title = {Convergence of Deep ReLU Networks},
author = {Yuesheng Xu and Haizhang Zhang},
journal= {arXiv preprint arXiv:2107.12530},
year = {2023}
}