批量归一化不改善初始化
机器学习
2025-02-26 v1 概率论
摘要
批量归一化是神经网络最重要的正则化技术之一，通过对网络各层进行中心化显著性地改善了训练效果。已有多种尝试提供批量归一化的理论依据。Santurkar 和 Tsipras (2018) 声称批量归一化改善了初始化。我们提供了一个反例，表明该论断不成立，即批量归一化不改善初始化。
引用
@article{arxiv.2502.17913,
title = {Batch normalization does not improve initialization},
author = {Joris Dannemann and Gero Junike},
journal= {arXiv preprint arXiv:2502.17913},
year = {2025}
}