广义 AdaGrad (G-AdaGrad) 与 Adam 的状态空间视角
机器学习
2021-10-04 v2 系统与控制
系统与控制
机器学习
摘要
基于加速梯度的方法正被广泛用于求解非凸机器学习问题，尤其是在数据点丰富或可用数据分布于多个智能体的情况下。AdaGrad 和 Adam 是两种重要的加速梯度算法。AdaGrad 是最简单的加速梯度方法，对稀疏数据尤为有效。与其他方法相比，Adam 在深度学习问题中表现更优。本文提出一种新的快速优化器——广义 AdaGrad (G-AdaGrad)，用于加速求解潜在的非凸机器学习问题。具体而言，我们采用状态空间视角来分析机器学习中梯度加速算法（即 G-AdaGrad 和 Adam）的收敛性。我们提出的态空间模型由常微分方程支配。我们在确定性设定下以最小假设给出了这两种算法的简单收敛证明。我们的分析也为改进 AdaGrad 收敛速度背后的直觉提供了依据。我们在 MNIST 数据集上提供了实证结果，以佐证我们关于 G-AdaGrad 和 Adam 收敛性与性能的论断。
引用
@article{arxiv.2106.00092,
title = {Generalized AdaGrad (G-AdaGrad) and Adam: A State-Space Perspective},
author = {Kushal Chakrabarti and Nikhil Chopra},
journal= {arXiv preprint arXiv:2106.00092},
year = {2021}
}
备注
Updates: The parameter condition of Adam in Theorem 2 has been relaxed and the proof has been updated accordingly. Experimental results on logistic regression model have been included. Conference: Accepted for presentation in the 2021 60th IEEE Conference on Decision and Control (CDC)