未来是对数高斯：ResNet 及其在初始化时的无限深度与宽度极限
机器学习
2021-10-28 v2 机器学习
摘要
理论结果表明，神经网络在无限宽度极限下可被高斯过程近似。然而，对于全连接网络，先前已证明对于任意固定的网络宽度 ，随着网络深度 的增加，高斯近似会变差。鉴于现代网络是深度的，这引发了如下问题：现代架构（如 ResNet）在多大程度上被无限宽度极限所刻画。为了提供更好的近似，我们研究了在无限深度与宽度极限下的 ReLU ResNet，其中深度和宽度均趋于无穷，而它们的比值 保持恒定。与高斯无限宽度极限相反，我们从理论上证明，在无限深度与宽度极限下，网络在初始化时表现出对数高斯（log-Gaussian）行为，其参数依赖于比值 。利用蒙特卡洛模拟，我们证明即使是标准 ResNet 架构的基本属性也很少被高斯极限捕捉，但却被我们的对数高斯极限极好地捕捉。此外，我们的分析揭示，初始化时的 ReLU ResNet 是低激活的：少于一半的 ReLU 被激活。我们还计算了层间相关性，其作用是使网络输出的方差呈指数增长。基于我们的分析，我们引入了平衡 ResNet（Balanced ResNets），一种简单的架构修改，它消除了低激活和层间相关性，并且更易于理论分析。
引用
@article{arxiv.2106.04013,
title = {The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization},
author = {Mufan Bill Li and Mihai Nica and Daniel M. Roy},
journal= {arXiv preprint arXiv:2106.04013},
year = {2021}
}