自适应优化与归一化的连续时间分析

自适应优化算法，尤其是 Adam 及其变体 AdamW，是现代深度学习的基本组成部分。然而，其训练动力学缺乏全面的理论理解，对于常见实践——如特定超参数选择和归一化层——为何有助于成功泛化，了解有限。本工作提出了 Adam 和 AdamW 的连续时间公式化，为分析训练动力学提供了可处理的框架，从而揭示此类实践问题。我们从理论上推导了 Adam 超参数 $(\beta, \gamma)$ 的稳定区域以保证有界更新，并通过观察稳定区域外的指数参数增长不稳定现象，经验性地验证了这些预测。此外，我们通过揭示尺度不变架构组件的隐式元自适应效应，从理论上证明了归一化层的成功。这一洞察引出了一个显式优化器 $2$-Adam，并将其推广至 $k$-Adam——一个将自适应归一化过程执行 $k$ 次的优化器，涵盖了 Adam（对应 $k=1$）和带归一化层的 Adam（对应 $k=2$）。总体而言，我们对 Adam 的连续时间公式化为原则性分析提供了便利，加深了对现代深度学习中最优超参数选择和架构决策的理解。