自适应梯度算法动态行为的定性研究
机器学习
2021-10-01 v2 机器学习
摘要
本文通过细致的数值实验与理论解释相结合，研究了 RMSprop 与 Adam 算法的动态行为。在训练损失曲线中观察到三类定性特征：快速初始收敛、振荡以及后期阶段的大幅尖峰。符号梯度下降（signGD）流，即在学习率趋于 0 而动量参数保持固定时 Adam 的极限，被用来解释快速初始收敛。对于 Adam 的后期阶段，根据超参数的选择观察到三种不同的定性模式：振荡、尖峰与发散。特别地，当两个动量因子的值彼此接近时，Adam 收敛得更加平滑甚至更快。该观察对于科学计算任务尤为重要，因为此类任务的训练过程通常会进入高精度 regime。
引用
@article{arxiv.2009.06125,
title = {A Qualitative Study of the Dynamic Behavior for Adaptive Gradient Algorithms},
author = {Chao Ma and Lei Wu and Weinan E},
journal= {arXiv preprint arXiv:2009.06125},
year = {2021}
}