神经协方差 SDE：初始化时成形无限深度与宽度网络
机器学习
2023-06-16 v3 机器学习
摘要
在给定由倒数第二层定义的随机协方差矩阵的条件下，前馈神经网络在初始化时的 logit 输出是条件高斯的。本文中，我们研究该随机矩阵的分布。近期工作表明，为使该协方差矩阵非退化，随着网络深度增大而对激活函数进行成形是必要的。然而，当前无限宽度风格对此成形方法的理解在深度较大时不能令人满意：无限宽度分析忽略了层与层之间的微观涨落，但这些涨落会在许多层中累积。为克服这一缺陷，我们在成形无限深度与宽度极限下研究该随机协方差矩阵。我们确定了激活函数达到非平凡极限所必需的精确缩放，并证明该随机协方差矩阵由一个我们称之为神经协方差 SDE 的随机微分方程（SDE）所支配。通过模拟，我们表明该 SDE 与有限网络随机协方差矩阵的分布高度吻合。此外，我们基于激活函数恢复了大型成形网络范数爆炸与消失的充要条件。
引用
@article{arxiv.2206.02768,
title = {The Neural Covariance SDE: Shaped Infinite Depth-and-Width Networks at Initialization},
author = {Mufan Bill Li and Mihai Nica and Daniel M. Roy},
journal= {arXiv preprint arXiv:2206.02768},
year = {2023}
}
备注
48 pages, 10 figures. Advances in Neural Information Processing Systems (2022)