双重无限残差神经网络：一种扩散过程方法
机器学习
2021-09-21 v2 机器学习
统计理论
统计理论
摘要
具有大量层（深度）与每层单元（宽度）的现代神经网络（NN）已在诸多领域取得卓越性能。尽管关于无限宽 NN 与高斯过程之间相互作用的文献浩如烟海，但对无限深 NN 的类似相互作用却知之甚少。具有独立同分布（i.i.d.）初始化的 NN 随着层数增加会表现出不理想的前向与反向传播性质。为克服这些缺陷，Peluchetti 与 Favaro（2020）考虑了全连接残差网络（ResNets），其网络参数通过随层数增加而收缩的分布初始化，从而建立了无限深 ResNets 与随机微分方程（即扩散过程）解之间的相互作用，并表明无限深 ResNets 不会受不理想前向传播性质之苦。本文中，我们回顾 Peluchetti 与 Favaro（2020）的结果，将其推广至卷积 ResNets，并建立了类似的反向传播结果，其直接关联全连接深度 ResNets 的训练问题。随后，我们研究更一般的双重无限 NN 设定，即网络宽度与深度均无限增长。我们聚焦于双重无限全连接 ResNets，并考虑 i.i.d. 初始化。在此设定下，我们证明感兴趣量的动力学在初始化时收敛于确定性极限。这使我们能为推理提供解析表达式，涵盖弱训练与全训练 ResNets 两种情况。我们的结果凸显了当未缩放网络参数为 i.i.d. 且残差块较浅时，双重无限 ResNets 的表达能力有限。
引用
@article{arxiv.2007.03253,
title = {Doubly infinite residual neural networks: a diffusion process approach},
author = {Stefano Peluchetti and Stefano Favaro},
journal= {arXiv preprint arXiv:2007.03253},
year = {2021}
}