动量如何助力 Frank Wolfe 算法
最优化与控制
2020-06-22 v1 机器学习
机器学习
摘要
我们揭示了 Frank Wolfe(FW)类算法与加速梯度法(AGM)中动量之间的联系。从消极方面看,这些联系说明了为何动量不太可能对 FW 类算法有效。另一方面,这一联系背后令人鼓舞的信息是,动量在一类问题上对 FW 是有用的。具体而言,我们证明了 FW 的一个动量变体(我们称之为加速 Frank Wolfe(AFW))在某些约束集上以更快的速率 收敛,尽管在一般情形下与 FW 同为 的速率。鉴于 AFW 几乎无需额外代价即可获得可能的加速,因此它是 FW 的一个有竞争力的替代方案。在基准机器学习任务上的数值实验进一步验证了我们的理论发现。
引用
@article{arxiv.2006.11116,
title = {How Does Momentum Help Frank Wolfe?},
author = {Bingcong Li and Mario Coutino and Georgios B. Giannakis and Geert Leus},
journal= {arXiv preprint arXiv:2006.11116},
year = {2020}
}