重启 Frank-Wolfe:在 Hölder 型误差界下的更快收敛速率
最优化与控制
2021-10-20 v4
摘要
条件梯度算法(又称 Frank-Wolfe 算法)因其简单性、无需投影步骤以及有竞争力的数值表现,构成了用于约束光滑凸极小化的一类经典方法。尽管原始的 Frank-Wolfe 算法仅能保证 的最坏情况速率,但近年各种结果表明,对于多面体上的强凸函数,该方法可稍作修改以实现线性收敛。然而,这仍在达到 -近似解的亚线性 收敛与线性 收敛之间留下了巨大鸿沟。在此,我们提出条件梯度算法的一种新变体,它可通过重启动态适应函数的几何性质,并在亚线性和线性机制之间平滑插值。当优化问题满足我们称之为强 Wolfe 原始界的一类新型误差界时,可获得这些插值收敛速率。它们将约束集的几何信息与目标函数上的 Hölder 型误差界相结合。
引用
@article{arxiv.1810.02429,
title = {Restarting Frank-Wolfe: Faster Rates Under H\"olderian Error Bounds},
author = {Thomas Kerdreux and Alexandre d'Aspremont and Sebastian Pokutta},
journal= {arXiv preprint arXiv:1810.02429},
year = {2021}
}
备注
Journal version