具有批归一化的两层神经网络的黎曼平均场公式
机器学习
2021-10-19 v1
摘要
研究了具有批归一化（BN）的两层神经网络的训练动力学。其被写为黎曼流形上无 BN 神经网络的训练动力学。因此，我们明确了 BN 改变参数空间中度量的作用。随后，考虑了具有 BN 的两层神经网络的无限宽度极限，并推导了训练动力学的平均场公式。平均场公式的训练动力学被证明是流形上的 Wasserstein 梯度流。理论分析给出了 Wasserstein 梯度流的适定性与收敛性。
引用
@article{arxiv.2110.08725,
title = {A Riemannian Mean Field Formulation for Two-layer Neural Networks with Batch Normalization},
author = {Chao Ma and Lexing Ying},
journal= {arXiv preprint arXiv:2110.08725},
year = {2021}
}