乐观对偶平均统一现代优化器
机器学习
2026-05-13 v1
摘要
我们提出SODA，这是乐观对偶平均的一个推广，为Muir、Lion、AdEMAMix和NAdam等最先进优化器提供了统一视角，表明它们都可视为该框架的乐观实例。基于这一框架，我们提出一种实用的SODA包装器，可用于任何基础优化器，通过理论依据的衰减计划消除权重衰减调参。跨各种规模和训练时程的实验结果表明，SODA在没有任何额外超参数调参的情况下 consistently improves performance。
引用
@article{arxiv.2605.11172,
title = {Optimistic Dual Averaging Unifies Modern Optimizers},
author = {Thomas Pethick and Wanyun Xie and Roman Machacek and Volkan Cevher},
journal= {arXiv preprint arXiv:2605.11172},
year = {2026}
}