Adam 优化器中的不收敛性与极限环
机器学习
2022-10-06 v1 数值分析
数值分析
摘要
深度神经网络最流行的训练算法之一是由 Kingma 和 Ba 提出的自适应矩估计（Adam）。尽管其在许多应用中取得成功，仍缺乏令人满意的收敛性分析：仅在批量模式下对某些超参数限制可证明局部收敛，增量模式下存在反例。近期结果表明，对于简单二次目标函数，批量模式下存在周期为 2 的极限环，但仅针对非典型超参数，且仅针对无偏差修正的算法。我们将带偏差修正的 Adam 在批量模式下的收敛分析加以推广，表明即便对于作为最简单凸函数情形的二次函数，对所有超参数选择均存在 2-极限环。我们分析了这些极限环的稳定性，并将我们的分析与其他在附加有界梯度假设（不适用于二次函数）下给出近似收敛的结果相联系。由于方程复杂性，该研宄严重依赖计算机代数。
引用
@article{arxiv.2210.02070,
title = {Non-Convergence and Limit Cycles in the Adam optimizer},
author = {Sebastian Bock and Martin Georg Weiß},
journal= {arXiv preprint arXiv:2210.02070},
year = {2022}
}