批归一化与权重衰减下神经网络训练的周期性行为
机器学习
2022-01-19 v3 机器学习
摘要
近年来，使用批归一化和权重衰减训练神经网络已成为常见做法。本工作中，我们表明它们的联合使用可能导致优化动力学出现一种令人惊讶的周期性行为：训练过程定期出现失稳，然而这不会导致完全发散，而是引发新的训练周期。我们从经验与理论两方面严格研究了所发现周期性行为背后的机制，并分析了其在实践中发生的条件。我们还证明，周期性行为可被视为此前关于批归一化与权重衰减训练两种对立观点——即平衡假定与失稳假定——的推广。
引用
@article{arxiv.2106.15739,
title = {On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay},
author = {Ekaterina Lobacheva and Maxim Kodryan and Nadezhda Chirkova and Andrey Malinin and Dmitry Vetrov},
journal= {arXiv preprint arXiv:2106.15739},
year = {2022}
}
备注
Published in NeurIPS 2021. First two authors contributed equally