FLAG 与 FLARE：快速线性耦合自适应梯度方法
最优化与控制
2017-11-15 v2 机器学习
机器学习
摘要
我们考虑用于有效优化复合目标的一阶梯度方法，该复合目标形式为光滑且可能非光滑函数之和。我们提出称为 FLAG 和 FLARE 的加速自适应梯度方法，它们能够两全其美。它们可以通过达到光滑凸优化的最优一阶预言复杂度（first-order oracle complexity）来实现最优收敛速率。此外，它们可以自适应且非均匀地重新缩放梯度方向，以适应可用的有限曲率并符合域的几何形状。我们从理论和经验上表明，通过加速和自适应的复合效应，FLAG 和 FLARE 对于许多数据拟合和机器学习应用可以非常有效。
引用
@article{arxiv.1605.08108,
title = {FLAG n' FLARE: Fast Linearly-Coupled Adaptive Gradient Methods},
author = {Xiang Cheng and Farbod Roosta-Khorasani and Stefan Palombo and Peter L. Bartlett and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1605.08108},
year = {2017}
}