理解 Adam 需要更好的旋转相关假设

尽管 Adam 被广泛采用，但其相对于随机梯度下降（SGD）的优势仍缺乏全面的理论解释。本文研究了 Adam 对参数空间旋转的敏感性。我们观察到，在参数空间随机旋转下，Adam 在训练 Transformer 时的性能会下降，这表明在实际应用中它对基的选择具有关键的敏感性。这表明传统的旋转不变假设不足以在理论上捕捉 Adam 的优势。为了更好地理解有利于 Adam 的旋转相关性质，我们还发现了能够保持甚至增强其经验性能的结构化旋转。随后，我们考察了文献中的旋转相关假设，发现它们在解释 Adam 在各种旋转类型下的行为时存在不足。相反，我们验证了更新的正交性是 Adam 基敏感性的一个有前景的指标，表明它可能是开发旋转相关理论框架以更好解释其经验成功的关键量。