Adam 简化：偏差校正被揭穿

Adam 优化器是现代深度学习的基石，但其各个组成部分的实际必要性往往被低估。本文对偏差校正这一特性进行了聚焦性调查，其贡献仍不明确。通过在视觉和语言建模任务上进行一系列系统消除实验（ablation），我们表明传统关于偏差校正的智慧是误导性的。特别是，我们证明，在最优超参数配置下，包含偏差校正的加入对最终测试性能没有提升。此外，除非实施适当的学习率调度，否则包含偏差校正有时会损害性能。我们进一步将偏差校正重新解释为一种隐式学习率调度，其行为严格取决于平滑超参数 $\beta_1, \beta_2 \in [0,1)$ 的选择。我们的发现挑战了将其组件普遍包含的惯例。