深度残差网络的收敛性分析

过去二十年中，各种强大的深度神经网络架构为深度学习令人瞩目的成功做出了巨大贡献。其中，深度残差网络（ResNets）尤为重要，因为它们在计算机视觉中表现出极大的实用性，在许多深度学习竞赛中获得第一名。此外，ResNets是深度学习发展史上第一类真正深度的神经网络。理解深度ResNets的收敛性具有数学意义和实际价值。我们旨在从网络参数的角度刻画当深度趋于无穷时深度ResNets的收敛性。为此，我们首先给出带快捷连接的通用深度神经网络的矩阵-向量描述，并利用激活域和激活矩阵的概念推导出网络的显式表达式。随后收敛性被归结为涉及非方阵无穷乘积的两个级数的收敛性。通过研究这两个级数，我们建立了ResNets逐点收敛的充分条件。我们的结果能够为ResNets的设计提供理论依据。我们还在基准机器学习数据上进行了实验以验证我们的结果。