如何设置 Adam 的 $\beta_1, \beta_2$：基于在线学习的视角

虽然 Adam 是训练大规模机器学习模型最有效的优化器，但如何最优设置其动量因子 $\beta_1$ 和 $\beta_2$ 的理论理解仍然 largely incomplete。先前的工作表明，Adam 可视为遵循-正则化领袖（FTRL）的一个实例，这是在线学习中最重要的算法类别之一。这些工作的先前分析要求设置 $\beta_1 = \sqrt{\beta_2}$，这并不涵盖 $\beta_1 \neq \sqrt{\beta_2}$ 的更实际情况。我们推导出更为一般的新型分析，适用于 $\beta_1 \geq \sqrt{\beta_2}$ 和 $\beta_1 \leq \sqrt{\beta_2}$ 的两种情况。在两种情况下，我们的结果严格概括了现有的界限。此外，我们显示我们的界限在最坏情况下是紧的。我们还证明设置 $\beta_1 = \sqrt{\beta_2}$ 对一个不记忆性对手最优，但对非不记忆性对手次优。