GeoAdaLer: 几何视角下的自适应随机梯度下降算法
机器学习
2025-06-03 v2 最优化与控制
机器学习
摘要
Adam 优化方法在解决当代随机优化挑战方面取得了显著的成功。该方法属于自适应子梯度技术范畴，但其性能背后的几何原理长期以来一直是谜一样的，困扰着研究者。本文引入 GeoAdaLer（几何自适应学习者），一种新的自适应学习方法，用于随机梯度下降优化，源自优化景观的几何特性。该方法不仅成为强大的竞争者，还通过引入一种几何导向的方法来增强其在复杂优化情景下的可解释性和效果。
引用
@article{arxiv.2405.16255,
title = {GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms},
author = {Chinedu Eleh and Masuzyo Mwanza and Ekene Aguegboh and Hans-Werner van Wyk},
journal= {arXiv preprint arXiv:2405.16255},
year = {2025}
}