探索Adam在高度退化多项式上的收敛性

Adam是深度学习中广泛使用的优化算法，但其在特定目标函数类别中固有优势的具体条件仍未得到充分探讨。不同于以往需要外部调度器且$\beta_2$接近1才能收敛的研究，本文考察Adam的“天然”自收敛特性。我们识别出一类高度退化多项式，其中Adam无需额外调度器即可自动收敛。具体地，我们推导退化多项式上局部分析稳定性的理论条件，并表明理论边界与实验结果高度吻合。我们证明Adam在这些退化函数上实现局部线性收敛，显著优于梯度下降和动量的亚线性收敛。这种加速源于第二时刻$v_t$与平方梯度$g_t^2$之间的解耦机制，指数级放大了有效学习率。最后，我们刻画了Adam的超参数相位图，识别出三种不同的行为模式：稳定收敛、尖峰和SignGD式振荡。