Ada2MS：基于元素级与全局二阶矩估计指数混合的混合优化算法
机器学习
2026-05-21 v1
摘要
优化算法是机器学习模型迭代最小化损失函数、更新参数、从数据学习和提升性能的核心方法。动量 SGD 和 AdamW 分别代表两种重要的优化范式。AdamW 产生稳定的更新，通常在各种训练场景中具有强大的鲁棒性，但其泛化性能有时弱于动量方法。动量 SGD 通常在精心调谋后可以获得更好的泛化，但对梯度规模变化和超参数设置更敏感。为平衡这两种范式的优势与劣势，本文提出了 Ada2MS，一种通过在元素级二阶矩估计和全局二阶矩估计之间进行连续指数插值，实现从 AdamW 式行为平滑过渡到动量 SGD 式行为的优化算法。在本研究评估的视觉任务上，Ada2MS 在统一的优化器比较协议下获得了具竞争力的结果。代码将在 https://github.com/mengzhu0308/Ada2MS 发布。
引用
@article{arxiv.2605.20533,
title = {Ada2MS: A Hybrid Optimization Algorithm Based on Exponential Mixing of Elementwise and Global Second-Moment Estimates},
author = {Meng Zhu and Quan Xiao and Weidong Min},
journal= {arXiv preprint arXiv:2605.20533},
year = {2026}
}