宽卷积神经网络的渐近性质

宽神经网络已被证明是兼具理论与实用价值的丰富架构类别。受有限宽度卷积网络似乎优于无限宽度网络这一观察的启发，我们研究了宽CNN及带跳跃连接网络的缩放规律。遵循（Dyer & Gur-Ari, 2019）的方法，我们给出了一个简单的图解规则来推导许多关注量的渐近宽度依赖关系。这些缩放关系为宽卷积网络的训练动态提供了可解的刻画。我们在广泛的架构上验证了这些关系。特别地，我们发现有限与无限宽度模型间性能差异以关于模型宽度的确定速率消失。尽管如此，该关系与有限宽度模型泛化优于或劣于其无限宽度对应模型均一致，我们给出了相对性能依赖于优化细节的示例。