CLion：高效稳健型 Lion 优化器及其泛化能力

Lion 优化器是机器学习中流行的基于学习的优化算法，许多深度学习模型的训练表现突出。尽管 Lion 优化器的收敛性已有研究，但其泛化分析仍缺失。为填补这一空白，我们基于数学归纳法研究了 Lion 的泛化性能。具体地，我们证明 Lion 的泛化误差为 $O(\frac{1}{N\tau^T})$，其中 $N$ 为训练样本规模，$\tau>0$ 表示梯度估计器中最小非零元素的绝对值，$T$ 为总迭代次数。此外，我们获得一个有趣的副产品：SignSGD 算法的泛化误差与 Lion 相同。为增强 Lion 的泛化能力，我们设计了一个新型高效稳健型 Lion（即 CLion）优化器，通过谨慎使用符号函数实现。我们证明，CLion 的泛化误差为 $O(\frac{1}{N})$，低于 Lion 的 $O(\frac{1}{N\tau^T})$，因为参数 $\tau$ 通常非常小。同时，我们研究了 CLion 优化器的收敛性，证明 CLion 在非凸随机优化中以 $\ell_1$-范数梯度下，收敛率为 $O(\frac{\sqrt{d}}{T^{1/4}})$，其中 $d$ 表示模型维度。大量数值实验表明，我们的 CLion 优化器有效。