LaProp:分离 Adam 中的动量与自适应性
机器学习
2021-06-15 v3 机器学习
摘要
我们指出了 Adam 类优化器一个此前未被认识的问题,其源于动量与自适应性之间不必要的耦合。当动量与自适应性参数不匹配时,该耦合会导致不稳定与发散。本工作中,我们提出一种方法 Laprop,将 Adam 类方法中的动量与自适应性解耦。我们表明,解耦带来了超参数的更大灵活性,并允许在符号梯度方法与自适应梯度方法之间进行直接插值。我们通过实验证明,Laprop 在多种任务上相较 Adam 一致地提升了速度与稳定性。我们还在凸问题上给出了 Laprop 的悔界,并表明我们的界与 Adam 的界因一个关键因子而不同,从而体现其优势。
引用
@article{arxiv.2002.04839,
title = {LaProp: Separating Momentum and Adaptivity in Adam},
author = {Liu Ziyin and Zhikang T. Wang and Masahito Ueda},
journal= {arXiv preprint arXiv:2002.04839},
year = {2021}
}