局部加速条件梯度法
最优化与控制
2019-10-14 v2 机器学习
机器学习
摘要
条件梯度法是一类用于光滑凸优化的无投影一阶算法。因此，它们常用于求解多面体上的光滑凸优化问题，此类问题上正交投影的计算代价过高。然而，它们无法享有基于投影的加速方法所达到的最优收敛速率； moreover，对这些方法而言实现此类全局加速速率在信息论上是不可能的。为解决此问题，我们提出局部加速条件梯度法——一种将加速步与条件梯度步耦合以在光滑强凸问题上实现局部加速的算法框架。我们的方法不需要在可行集上投影，而只需在（通常为低维）单纯形上投影，从而将投影的计算代价控制在低位。进一步，它实现了最优的加速局部收敛。我们的理论结果得到数值实验的支持，实验表明我们的框架在每步进展与挂钟时间上均较最先进方法有明显加速。
引用
@article{arxiv.1906.07867,
title = {Locally Accelerated Conditional Gradients},
author = {Jelena Diakonikolas and Alejandro Carderera and Sebastian Pokutta},
journal= {arXiv preprint arXiv:1906.07867},
year = {2019}
}