优化算法的符号发现

我们提出一种将算法发现表述为程序搜索的方法，并应用于发现深度神经网络训练的优化算法。我们利用高效搜索技术探索无限且稀疏的程序空间。为弥合代理任务与目标任务间的巨大泛化差距，我们还引入了程序选择与简化策略。我们的方法发现了一种简单有效的优化算法，$\textbf{Lion}$（\textit{Evo\textbf{L}$ved S$\textbf{i}$gn M$\textbf{o}$me$\textbf{n}tum}）。它比 Adam 更省内存，因仅跟踪动量。不同于自适应优化器，其更新通过对符号操作计算而对每个参数具有相同幅度。我们将 Lion 与广泛使用的优化器（如 Adam 和 Adafactor）比较，用于在不同任务上训练多种模型。在图像分类上，Lion 在 ImageNet 上将 ViT 准确率提升多达 2%，并在 JFT 上节省多达 5 倍预训练计算。在视觉-语言对比学习上，我们在 ImageNet 上达到 88.3% $\textit{zero-shot}$ 与 91.1% $\textit{fine-tuning}$ 准确率，分别超越先前最佳 2% 与 0.1%。在扩散模型上，Lion 优于 Adam，取得更好 FID 分数并将训练计算减少多达 2.3 倍。对于自回归、掩码语言建模与微调，Lion 展现与 Adam 相似或更好的性能。我们对 Lion 的分析揭示其性能增益随训练批大小增大而增长；由于符号函数产生的更新范数更大，它所需学习率也小于 Adam。此外，我们考察了 Lion 的局限并识别出改进微小或不具统计显著性的场景。Lion 也已成功部署于生产系统如 Google 搜索广告 CTR 模型。