具有 Lipschitz 连续激活函数与可变宽度的深度神经网络的均匀收敛性
机器学习
2023-06-05 v1
摘要
我们考虑具有 Lipschitz 连续激活函数且权重矩阵宽度可变的深度神经网络。我们建立了一个均匀收敛分析框架，其中给出了权重矩阵、偏置向量与 Lipschitz 常数的一组充分条件，以保证当层数趋于无穷时深度神经网络均匀收敛到有意义的函数。在该框架中，给出了具有固定宽度、有界宽度与无界宽度的深度神经网络均匀收敛的专门结果。特别地，由于卷积神经网络是具有递增宽度权重矩阵的特殊深度神经网络，我们提出了关于掩码序列的条件，其导致所得卷积神经网络的均匀收敛。对激活函数的 Lipschitz 连续性假设使我们的理论可涵盖应用中大多数常用激活函数。
引用
@article{arxiv.2306.01692,
title = {Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths},
author = {Yuesheng Xu and Haizhang Zhang},
journal= {arXiv preprint arXiv:2306.01692},
year = {2023}
}