无需学习率：引入 SALSA —— 稳定 Armijo 线搜索自适应方法
机器学习
2024-07-31 v1 人工智能
摘要
在近期研究中，线搜索方法已被证明可显著提升各种数据集和体系结构下的常规随机梯度下降技术的性能，使学习率计划这一原本关键选择变得可有可无。在本文中，我们识别了当前最先进的线搜索方法的问题，提出了改进方案并严格评估其有效性。此外，我们在此前未完成的规模更大数据集和更复杂数据域上对这些方法进行评估。更具体地说，我们通过加速计算和纳入动量项来增强 Armijo 线搜索方法，使其更适用于随机 mini-batch。我们的优化方法优于前一种 Armijo 实现以及 Adam 和 SGD 优化器的调谐学习率计划。我们的评估涵盖多样化的体系结构，如 Transformer、CNN 和 MLP，以及数据域，包括 NLP 和图像数据。我们的工作以 Python 包的形式公开，可提供简单易用的 Pytorch 优化器。
关键词
引用
@article{arxiv.2407.20650,
title = {No learning rates needed: Introducing SALSA -- Stable Armijo Line Search Adaptation},
author = {Philip Kenneweg and Tristan Kenneweg and Fabian Fumagalli and Barbara Hammer},
journal= {arXiv preprint arXiv:2407.20650},
year = {2024}
}
备注
published in IJCNN 2024. arXiv admin note: text overlap with arXiv:2403.18519