放宽假设下Adam随机优化收敛性研究

自适应动量估计（Adam）算法在训练各种深度学习任务中非常有效。尽管如此，对Adam的理论理解仍然有限，特别是在关注其原始形式在非凸光滑场景中，且可能存在无界梯度和仿射方差噪声的情况下。在本文中，我们在这些具有挑战性的条件下研究原始Adam。我们引入了一个全面的噪声模型，该模型控制仿射方差噪声、有界噪声和次高斯噪声。我们证明，在此通用噪声模型下，Adam能够以高概率找到稳定点，其速率为$\mathcal{O}(\text{poly}(\log T)/\sqrt{T})$，其中$T$表示总迭代次数，与随机一阶算法的下界匹配（仅差对数因子）。更重要的是，我们揭示了Adam无需根据任何问题参数调整步长，在相同条件下比随机梯度下降具有更好的自适应特性。我们还提供了Adam在广义光滑条件下的概率收敛结果，该条件允许无界光滑参数，并且已被经验证明能更准确地捕捉许多实际目标函数的光滑性质。