Lion 隐式求解约束优化：如 Lyapunov 所预言

Lion（Evolved Sign Momentum）是一种通过程序搜索发现的新优化器，在训练大型 AI 模型方面已显示出有前景的结果。它的表现与 AdamW 相当或更优，但具有更高的内存效率。正如我们从随机搜索程序的结果中所预期的，Lion 融合了多种现有算法的元素，包括符号动量、解耦权重衰减、Polak 和 Nesterov 动量，但不属于任何现有有理论依据的优化器类别。因此，尽管 Lion 作为广泛任务的通用优化器表现良好，其理论基础仍不确定。这种理论清晰度的缺乏限制了进一步增强和扩展 Lion 效能的机会。本工作旨在揭开 Lion 的神秘面纱。基于连续时间和离散时间分析，我们证明 Lion 是一种理论新颖且原则性的方法，用于在强制约束 $\|x\|_\infty \leq 1/\lambda$ 的同时最小化一般损失函数 $f(x)$。Lion 通过引入解耦权重衰减实现这一点，其中 $\lambda$ 表示权重衰减系数。我们的分析得益于为 Lion 更新开发的一个新的 Lyapunov 函数。它适用于更广泛的 Lion-$\kappa$ 算法族，其中 Lion 中的 $\text{sign}(\cdot)$ 算子被凸函数 $\kappa$ 的次梯度替代，从而求解一般的复合优化问题 $\min_x f(x) + \kappa^*(x)$。我们的发现为 Lion 的动力学提供了宝贵见解，并为 Lion 相关算法的进一步改进和扩展铺平了道路。