ELRA：指数学习率自适应梯度下降优化方法
机器学习
2023-09-13 v1 最优化与控制
摘要
我们提出了一种新颖、快速（指数速率自适应）、从头开始（无超参数）的基于梯度的优化器算法。该方法的主要思想是通过情境感知自适应学习率 ，主要力求正交的相邻梯度。该方法具有高成功率和快速收敛率，且不依赖手工调参，因而具有更强的通用性。它可应用于任意维度 n 的问题，并且仅随问题维度线性缩放（阶为 O(n)）。它优化凸和非凸连续地形，只要提供某种梯度。与Ada族（AdaGrad、AdaMax、AdaDelta、Adam等）不同，该方法是旋转不变的：优化路径和性能与坐标选择无关。通过在MNIST基准数据集上对比SOTA优化器的广泛实验展示了其令人印象深刻的性能。我们将这类新优化器以其核心思想指数学习率自适应命名为ELRA。我们以两种变体c2min和p2min呈现，其控制略有不同。作者坚信ELRA将为梯度下降优化开辟一个全新的研究方向。
引用
@article{arxiv.2309.06274,
title = {ELRA: Exponential learning rate adaption gradient descent optimization method},
author = {Alexander Kleinsorge and Stefan Kupper and Alexander Fauck and Felix Rothe},
journal= {arXiv preprint arXiv:2309.06274},
year = {2023}
}
备注
9 pages, 11 figures