深度神经网络中宽度与深度的交换缩放
机器学习
2023-10-04 v1 机器学习
摘要
本文是关于深度神经网络中无限宽度与深度极限可交换性（WD）系列的第二篇。我们的目标是理解神经函数（依赖于神经网络模型的函数）在宽度和深度趋于无穷（某种意义下）时的行为，并最终确定可交换性成立的条件，即无论宽度与深度极限以何种次序取，神经函数都趋于同一极限。本文正式引入并定义了可交换性框架，并讨论了其对神经网络设计与缩放的启示。我们研究了反映网络层如何分离数据的神经协方差核的可交换性。我们的发现扩展了 [55] 中已有结果：在带跳跃连接的深度神经网络中，当各分支被适当缩放以避免爆炸行为时，无论以何种方式取宽度与深度至无穷，均得到相同的协方差结构。这具有若干我们在文中讨论的理论与实际意义。本文的证明方法是新颖的，依赖于对不熟悉随机微积分（WD(I) 证明中所用）的读者更易理解的工具。
引用
@article{arxiv.2310.01683,
title = {Commutative Width and Depth Scaling in Deep Neural Networks},
author = {Soufiane Hayou},
journal= {arXiv preprint arXiv:2310.01683},
year = {2023}
}
备注
41 pages, 6 figures. arXiv admin note: substantial text overlap with arXiv:2302.00453