利用信任比率裁剪改进分层自适应速率方法
机器学习
2020-11-30 v1
摘要
以大批量训练神经网络对深度学习具有根本意义。大批量训练显著减少了训练时间，但在保持精度方面存在困难。近期工作提出了诸如 LARS 和 LAMB 等优化方法，通过利用信任比率的自适应分层优化来解决此问题。尽管这些方法很流行，但观察到它们仍受不稳定和极端的信任比率影响，从而降低了性能。在本文中，我们提出 LAMB 的一种新变体，称为 LAMBC，其采用信任比率裁剪来稳定其量级并防止极端值。我们在 ImageNet 和 CIFAR-10 等图像分类任务上进行了实验，我们的实证结果表明在不同批量大小下均有可观的改进。
引用
@article{arxiv.2011.13584,
title = {Improving Layer-wise Adaptive Rate Methods using Trust Ratio Clipping},
author = {Jeffrey Fong and Siwei Chen and Kaiqi Chen},
journal= {arXiv preprint arXiv:2011.13584},
year = {2020}
}