大批量优化器现实检验：传统通用优化器在各批量大小下均足够
机器学习
2021-06-11 v3 机器学习
摘要
近来，LARS 和 LAMB 优化器被提出用于利用大批量大小更快地训练神经网络。LARS 和 LAMB 分别向 Heavy-ball 动量和 Adam 的更新规则中加入了层归一化，并已在著名的基准测试和深度学习库中流行。然而，在与标准优化器进行公平比较之前，LARS 和 LAMB 相比传统通用算法是否具有任何优势仍是一个开放问题。在这项工作中，我们证明标准优化算法如 Nesterov 动量和 Adam 在大批量大小下可以匹配或超过 LARS 和 LAMB 的结果。我们的结果为这些批量大小下的未来比较建立了新的、更强的基线，并更普遍地揭示了神经网络训练优化器比较的困难。
引用
@article{arxiv.2102.06356,
title = {A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes},
author = {Zachary Nado and Justin M. Gilmer and Christopher J. Shallue and Rohan Anil and George E. Dahl},
journal= {arXiv preprint arXiv:2102.06356},
year = {2021}
}