条件梯度法的重球动量
最优化与控制
2021-10-11 v1 机器学习
摘要
条件梯度法，亦称 Frank-Wolfe（FW）算法，在机器学习与信号处理应用中具有有据可查的优势。一般而言，与基于投影的方法不同，动量无法改善 FW 的收敛速率。这一局限促成了当前工作，其研究重球动量及其对 FW 的影响。具体而言，我们确立了重球动量对原始-对偶（PD）收敛提供了统一视角，并且在多种步长选择下享有更紧的每步 PD 误差率，其中 PD 误差在实践中可作为停止准则。此外，我们断言重启——一种通常与 Nesterov 动量联合使用的方案——可进一步收紧该 PD 误差界。数值结果展示了重球动量在 FW 迭代中的效用。
引用
@article{arxiv.2110.04243,
title = {Heavy Ball Momentum for Conditional Gradient},
author = {Bingcong Li and Alireza Sadeghi and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:2110.04243},
year = {2021}
}
备注
Accepted to NeurIPS 2021