BatchNorm 中平移与缩放参数的实证分析
机器学习
2023-03-24 v1
摘要
批归一化（BatchNorm）是一种改善深度神经网络（尤其是卷积神经网络（CNN））训练的技术。经验表明，BatchNorm 提升了性能、稳定性与准确率，尽管此类提升的原因尚不清楚。BatchNorm 包含归一化步骤以及可训练的平移与缩放参数。在本文中，我们实证考察了相较于通过平移与缩放进行的重参数化，归一化步骤对 BatchNorm 成功的相对贡献。为开展实验，我们在 PyTorch 中实现了两种新优化器：一种我们称为 AffineLayer 的 BatchNorm 版本，其包含重参数化步骤而无归一化；以及一种仅含归一化步骤、我们称为 BatchNorm-minus 的版本。我们将 AffineLayer 与 BatchNorm-minus 的实现与标准 BatchNorm 的性能进行比较，并将这些情况与不使用批归一化的情况进行比较。我们在标准图像数据集与多种批量大小上，以四种 ResNet 架构（ResNet18、ResNet34、ResNet50 与 ResNet101）进行实验。除其他发现外，我们提供了经验证据，表明 BatchNorm 的成功可能主要源于改进的权重初始化。
引用
@article{arxiv.2303.12818,
title = {An Empirical Analysis of the Shift and Scale Parameters in BatchNorm},
author = {Yashna Peerthum and Mark Stamp},
journal= {arXiv preprint arXiv:2303.12818},
year = {2023}
}