批标准化分解
机器学习
2024-12-05 v1 神经与进化计算
摘要
批标准化（Batch Normalization）是神经网络架构中成功的构建模块，但其机制尚不明了。包含批标准化的神经网络层由三个组成部分共同决定网络表示：对表示均值进行“重中心化”以归零，对表示方差进行“重缩放”以归一化为一，最后应用“非线性”。我们的工作沿袭Hadi Daneshmand、Amir Joudaki、Francis Bach等人（NeurIPS '21）的研究，该研究考察了仅在初始化时包含重缩放阶段的深层线性神经网络。在本工作中，我们分析了网络中另外两个关键组成部分，即重中心化和非线性。当这两个组成部分存在时，我们观察到在初始化时，网络表示通过层层传递会收敛到单一簇，唯有一个异常数据点以正交方向远离该簇。我们从两个角度阐释了这一行为：(1)我们分析了简化指示模型的几何演化；(2)我们为上述配置证明了稳定性结果。
引用
@article{arxiv.2412.02843,
title = {Batch Normalization Decomposed},
author = {Ido Nachum and Marco Bondaschi and Michael Gastpar and Anatoly Khina},
journal= {arXiv preprint arXiv:2412.02843},
year = {2024}
}