改进用于大规模神经网络训练的线搜索方法
机器学习
2024-03-28 v1 人工智能
摘要
在最近的研究中，线搜索方法在传统随机梯度下降技术的性能上展现出显著提升，消除了对特定学习率调度的需求。在本文中，我们识别了现有最先进的线搜索方法中存在的问题，提出了改进措施，并严格评估了其有效性。我们在比以往更大的数据集和更复杂的数据领域上测试了这些方法。具体而言，我们通过将 ADAM 的动量项整合到搜索方向中来改进 Armijo 线搜索，从而实现了高效的大规模训练，而这在使用 Armijo 线搜索方法时以往很容易失败。我们的优化方法优于先前的 Armijo 实现以及 Adam 的调优学习率调度。我们的评估集中在 NLP 和图像数据领域的 Transformer 和 CNN 上。我们的工作以 Python 包的形式公开发布，提供了一个免调超参数的 Pytorch 优化器。
引用
@article{arxiv.2403.18519,
title = {Improving Line Search Methods for Large Scale Neural Network Training},
author = {Philip Kenneweg and Tristan Kenneweg and Barbara Hammer},
journal= {arXiv preprint arXiv:2403.18519},
year = {2024}
}