Ranger21：一种协同式深度学习优化器
机器学习
2021-08-10 v2
摘要
由于优化器对神经网络性能至关重要，每年都有大量关于该主题的论文发表。然而，尽管这些出版物大多为现有算法提供渐进式改进，它们往往被作为新优化器而非可组合算法呈现。因此，许多有价值的改进很少在其初始发表之外被看到。利用这一未被发掘的潜力，我们引入了Ranger21，一种将AdamW与八个组件相结合的新型优化器，这些组件是在回顾并测试文献中的想法后精心挑选的。我们发现所得优化器显著提升了验证精度与训练速度，使训练曲线更平滑，甚至能够在无批量归一化层的情况下在ImageNet2012上训练ResNet50。而AdamW在该问题上系统地陷入不良的初始状态。
引用
@article{arxiv.2106.13731,
title = {Ranger21: a synergistic deep learning optimizer},
author = {Less Wright and Nestor Demeure},
journal= {arXiv preprint arXiv:2106.13731},
year = {2021}
}
备注
for associated code, see https://github.com/lessw2020/Ranger21