中文

重启 Frank-Wolfe:在 Hölder 型误差界下的更快收敛速率

最优化与控制 2021-10-20 v4

摘要

条件梯度算法(又称 Frank-Wolfe 算法)因其简单性、无需投影步骤以及有竞争力的数值表现,构成了用于约束光滑凸极小化的一类经典方法。尽管原始的 Frank-Wolfe 算法仅能保证 O(1/ϵ)\mathcal{O}(1/\epsilon) 的最坏情况速率,但近年各种结果表明,对于多面体上的强凸函数,该方法可稍作修改以实现线性收敛。然而,这仍在达到 ϵ\epsilon-近似解的亚线性 O(1/ϵ)\mathcal{O}(1/\epsilon) 收敛与线性 O(log1/ϵ)\mathcal{O}(\log 1/\epsilon) 收敛之间留下了巨大鸿沟。在此,我们提出条件梯度算法的一种新变体,它可通过重启动态适应函数的几何性质,并在亚线性和线性机制之间平滑插值。当优化问题满足我们称之为强 Wolfe 原始界的一类新型误差界时,可获得这些插值收敛速率。它们将约束集的几何信息与目标函数上的 Hölder 型误差界相结合。

关键词

引用

@article{arxiv.1810.02429,
  title  = {Restarting Frank-Wolfe: Faster Rates Under H\"olderian Error Bounds},
  author = {Thomas Kerdreux and Alexandre d'Aspremont and Sebastian Pokutta},
  journal= {arXiv preprint arXiv:1810.02429},
  year   = {2021}
}

备注

Journal version