用于大规模图像分类的批归一化与权重归一化算法比较
计算机视觉与模式识别
2017-10-10 v2
摘要
批归一化（BN）已成为训练深度卷积网络的事实标准。然而，BN 占用了相当大一部分训练运行时间且难以加速，因为它是受内存带宽限制的操作。BN 的这一缺点促使我们探索最近提出的权重归一化算法（WN 算法），即权重归一化、归一化传播和带平移 ReLU 的权重归一化。这些算法不会减慢训练迭代速度，且实验表明在相对较小的网络和数据集上优于 BN。但是，尚不清楚这些算法能否在实际的大规模应用中替代 BN。我们通过使用在 ImageNet 上训练的 ResNet-50 网络对 BN 和 WN 算法进行详细比较来回答这个问题。我们发现，尽管 WN 获得了更好的训练准确率，但最终的测试准确率显著低于 BN（约 ）。这一结果展示了 BN 正则化效应惊人的强度，我们无法使用 dropout 和权重衰减等标准正则化技术来补偿它。我们还发现，使用 WN 算法训练深度网络的稳定性明显不如 BN，这限制了它们的实际应用。
引用
@article{arxiv.1709.08145,
title = {Comparison of Batch Normalization and Weight Normalization Algorithms for the Large-scale Image Classification},
author = {Igor Gitman and Boris Ginsburg},
journal= {arXiv preprint arXiv:1709.08145},
year = {2017}
}