基于四次动能的物理启发优化器：Velocity Regularized Adam

我们提出了 Velocity-Regularized Adam（VRAdam），这是一种受物理启发的深度神经网络训练优化器，灵感来自于四次动能项及其对系统动力学稳定性的影响。以往的算法，包括广为使用的 Adam，都处于训练过程中的自适应稳定性边缘区域，导致损失函数快速振荡并减缓收敛速度。然而，VRAdam 在学习率上引入基于速度的高阶惩罚项，从而在权重更新变大时自动减缓学习速度。实际应用中，我们观察到在高速度 regime 下，有效动态学习率会缩小，振荡被抑制。通过将这种基于速度的正则化器用于全局阻尼，结合 Adam 的 per-parameter 比例缩放，我们构建了一个强大的混合优化器。对于该优化器，我们从物理和控制视角对动量的边缘稳定性进行严格的理论分析。此外，我们在假设较为温和的情况下推导出收敛界限，收敛率为 $\mathcal{O}(\ln(N)/\sqrt{N})$ 用于随机非凸目标。我们展示了 VRAdam 在标准优化器（包括 AdamW）以上性能，对抗 various 任务包括图像分类、语言建模和生成式建模，使用多样化的架构和训练方法，包括卷积神经网络（CNNs）、Transformer 和 GFlowNets。