关于深度随机神经网络中批归一化下平均场与有限宽度的鸿沟 bridging
机器学习
2023-02-22 v3 人工智能
统计理论
统计理论
摘要
平均场理论广泛用于神经网络的理论研究。本文中，我们分析了在初始化时深度对具有批归一化（BN）的深度多层感知机（MLP）平均场预测集中性的作用。通过将网络宽度缩放至无穷，据推测平均场预测会遭受随深度放大的逐层误差。我们证明BN稳定了表征的分布，避免了平均场预测的误差传播。这种由几何混合性质刻画的稳定化，使我们能够为具有有限宽度的无穷深神经网络中的平均场预测建立集中界。
引用
@article{arxiv.2205.13076,
title = {On Bridging the Gap between Mean Field and Finite Width in Deep Random Neural Networks with Batch Normalization},
author = {Amir Joudaki and Hadi Daneshmand and Francis Bach},
journal= {arXiv preprint arXiv:2205.13076},
year = {2023}
}