一种新型自适应学习算法的理论与实验研究
机器学习
2026-05-29 v1 最优化与控制
摘要
机器学习算法的一个关键组成部分是以更低的计算成本和更少的振荡来最小化损失函数。虽然基于自适应学习率的优化器在实际任务中广泛使用，但它们不保证收敛，这就是后来引入AMSGrad来研究Adam的非收敛行为的原因。本文对流行的自适应优化方法如Adam和AMSGrad进行了批判性综述，重点关注其基本设计概念。为解决上述优化器的局限性，本文提出一种新型优化器变体C-Adam，基于“目光”方法进行设计。还提供了收敛性理论证明，并通过大量基于实际情境的数值实验对该优化器进行了验证。
引用
@article{arxiv.2605.29273,
title = {A Theoretical and Experimental Study of a Novel Adaptive Learning Algorithm},
author = {Sakshi Kumari and Shyam Kumar M and Sushmitha P},
journal= {arXiv preprint arXiv:2605.29273},
year = {2026}
}