Anon：超越SGD和Adam的可 extrapolate 适应性
人工智能
2026-05-07 v2 机器学习
摘要
诸如Adam等自适应优化器在训练大规模模型（如大型语言模型和扩散模型）方面取得了巨大成功。然而，它们往往在一般化方面表现不如在经典架构（如CNN）上使用的非自适应方法（如SGD）。我们识别出导致这一绩效差距的关键原因：预条件器中的自适应性限制了优化器适应多样化优化景观的能力。为解决这一问题，我们提出Anon（Adaptivity Non-restricted Optimizer with Novel convergence technique），这是一种具有持续可调适应性R的新型优化器，使其能够在SGD类和Adam类行为之间进行插值，甚至超越两者。为确保整个适应性谱系的收敛，我们引入增量延迟更新（IDU），这是一种比AMSGrad硬性最大跟踪策略更灵活的机制，增强了对梯度噪声的鲁棒性。我们在凸和非凸设置下理论上建立了收敛保证。实验上，Anon 在代表性的图像分类、扩散和语言建模任务中持续超过最先进的优化器。这些结果表明，自适应性可作为可调的有价值设计原则，Anon 提供了首个能够搭桥经典与现代优化器并超越其有利特性的统一可靠框架。
引用
@article{arxiv.2605.02317,
title = {Anon: Extrapolating Adaptivity Beyond SGD and Adam},
author = {Yiheng Zhang and Kaiyan Zhao and Shaowu Wu and Yiming Wang and Jiajun Wu and Leong Hou U and Steve Drew and Xiaoguang Niu},
journal= {arXiv preprint arXiv:2605.02317},
year = {2026}
}