量化Adam的预条件效应

目前，表征Adam优化器的预条件效应并展示其如何缓解病态条件诅咒（一个困扰梯度下降法（GD）的问题）的结果显著缺乏。在本工作中，我们对二次函数上Adam的预条件效应进行了详细分析，并量化了Adam能在多大程度上减轻对Hessian矩阵条件数的依赖。我们的关键发现是，Adam受条件数的影响可能较小，但代价是受到一个与维度相关的量的影响。具体而言，对于一个具有对角Hessian矩阵且条件数为$\kappa$的$d$维二次函数，我们证明控制无动量Adam迭代复杂度的有效条件数类量为$\mathcal{O}(\min(d, \kappa))$。对于对角占优的Hessian矩阵，我们得到相应量的界为$\mathcal{O}(\min(d \sqrt{d \kappa}, \kappa))$。因此，当$d < \mathcal{O}(\kappa^p)$时（对角Hessian矩阵时$p = 1$，对角占优Hessian矩阵时$p = 1/3$），Adam可以优于GD（其复杂度依赖于$\mathcal{O}(\kappa)$）。在负面，我们的结果表明，对于足够非对角的Hessian矩阵，即使$d \ll \mathcal{O}(\kappa^{1/3})$，Adam也可能比GD差；我们用经验证据证实了这一点。最后，我们将分析扩展到满足逐坐标Lipschitz平滑性和修正版Polyak-\L ojasiewicz条件的函数。