AdamNX：一种基于二阶矩估计新型指数衰减机制的 Adam 改进算法
机器学习
2025-12-02 v4 机器学习
摘要
自21世纪以来，人工智能正引领新的工业革命。在训练框架中，优化算法旨在稳定地收敛至高维优化的局部甚至全局最小值。进入大语言模型时代，尽管模型参数和数据规模不断增大，但 Adam 仍是主流优化算法。然而，与基于随机梯度下降（SGD）的优化算法相比，Adam 更容易收敛至非平坦最小值。为此提出了 AdamNX 算法。其核心创新在于提出一种新的二阶矩估计指数衰减率，该衰减率随训练进程逐渐减弱学习步长的校正强度，并在稳定训练期 degrades 为动量 SGD，从而提高稳定训练期的稳定性，可能增强泛化能力。实验结果表明，我们的二阶矩估计指数衰减率优于当前二阶矩估计指数衰减率，AdamNX 在性能方面稳定优于 Adam 及其变体。我们的代码已开源于 https://github.com/mengzhu0308/AdamNX。
引用
@article{arxiv.2511.13465,
title = {AdamNX: An Adam improvement algorithm based on a novel exponential decay mechanism for the second-order moment estimate},
author = {Meng Zhu and Quan Xiao and Weidong Min},
journal= {arXiv preprint arXiv:2511.13465},
year = {2025}
}
备注
25 pages, 6 figures, 12 tables. v4: Corrected a typo in Equation (15). Added author email addresses. Standardized conference names in References 29 and 37. No changes to results or conclusions