深度学习中具有解耦权重衰减的 Adam 族方法

本文研究一类广泛的 Adam 族方法在求解二次正则非光滑非凸优化问题（尤其是带权重衰减的非光滑神经网络训练）时的收敛性质。受 AdamW 方法启发，我们提出一种具有解耦权重衰减的 Adam 族方法新框架。在该框架中，随机次梯度一阶与二阶矩的估计器独立于权重衰减项进行更新。在温和假设下，并对主优化变量采用非递减步长，我们建立了所提框架的收敛性质。此外，我们表明所提框架涵盖多种知名 Adam 族方法，从而为其非光滑神经网络训练提供收敛保证。更重要的是，我们证明所提框架渐近逼近 SGD 方法，由此解释了解耦权重衰减提升 Adam 族方法泛化性能的经验观测。作为所提框架的实际应用，我们提出一种名为解耦权重衰减 Adam（AdamD）的新 Adam 族方法，并在温和条件下建立其收敛性质。数值实验表明，AdamD 在泛化性能与效率两方面均优于 Adam 且与 AdamW 相当。