LION 优化器的收敛率分析

LION（evoLved sIgn mOmeNtum）优化器是由 Google 通过程序搜索发现的，用于深度神经网络训练的优化器，虽然仅采用符号更新，却在训练大规模网络时表现出惊人的性能。尽管已有研究对其收敛性进行了探讨，但仍希望进行全面的分析，尤其是关注其收敛率。认识到 LION 可被视为求解特定约束问题的方法，本文聚焦于证明其以 $\cal O(\sqrt{d}K^{-1/4})$ 的收敛率收敛至卡鲁什-库恩-塔克（KKT）点，其中 $d$ 为问题维数，$K$ 为迭代步数，测度为梯度 $\ell_1$ 范数。进一步地，我们去除约束，证明 LION 以相同的收敛率收敛至一般无约束问题的临界点。该收敛率不仅提供了当前对问题维数 $d$ 的最优依赖，还紧密匹配非凸随机优化算法的理论下界，通常以梯度 $\ell_2$ 范数衡量迭代次数 $K$。通过大量实验，我们不仅证明 LION 在损失和性能上优于标准 SGD，还经验上确认梯度 $\ell_1/\ell_2$ 范数比例与 $\Theta(\sqrt{d})$ 一致，从而证明我们的收敛率在经验意义上与 $d$ 达到了理论下界。