Adam在可分数据上的隐式偏差

Adam已成为深度学习问题中最受青睐的优化器之一。尽管它在实践中取得了成功，但其理论理解仍存在许多谜团。在本文中，我们研究了Adam在线性逻辑斯蒂回归中的隐式偏差。具体来说，我们证明当训练数据线性可分时，Adam会收敛到一个实现最大$\ell_\infty$-间隔的线性分类器。值得注意的是，对于一大类递减学习率，这种收敛发生在多项式时间内。我们的结果从理论角度阐明了Adam与（随机）梯度下降之间的差异。