关于自适应随机优化方法的趋势校正变体
机器学习
2020-12-17 v2 机器学习
摘要
Adam 型优化器作为一类采用指数移动平均方案的自适应矩估计方法，已成功应用于深度学习的诸多领域。此类方法因在大规模稀疏数据集上具备高计算效率的能力而颇具吸引力。本文针对 Adam 型方法提出了一个新框架，在利用自适应步长与梯度更新参数时引入趋势信息。算法中的附加项有助于在复杂损失面上高效移动，从而使损失收敛更为迅速。我们通过实验证明了添加趋势分量的重要性：在多个真实数据集上的经典模型中，我们的框架持续优于常规 Adam 与 AMSGrad 方法。
引用
@article{arxiv.2001.06130,
title = {On the Trend-corrected Variant of Adaptive Stochastic Optimization Methods},
author = {Bingxin Zhou and Xuebin Zheng and Junbin Gao},
journal= {arXiv preprint arXiv:2001.06130},
year = {2020}
}
备注
8 pages, 4 figures, 2 tables, IJCNN2020