中文

离线与在线优化中可行集的曲率

数据结构与算法 2021-05-12 v2 最优化与控制

摘要

已知凸优化中可行集的曲率可带来具有更优收敛速率的算法,并且近来对于离线与在线问题该话题都重新引起关注。在本文中,借助几何与凸分析的结果,我们深化了对曲率在优化中作用的理解:- 我们首先证明了两种曲率概念即强凸性与规范体(gauge bodies)的等价性,证实了 Abernethy 等人的猜想。由此表明,Wang 与 Abernethy 的 Frank-Wolfe 型方法在强凸可行集上具有加速收敛速率 O(1t2)O(\frac{1}{t^2}),且对(凸)目标函数无需额外假设。- 在在线线性优化中,我们识别出两个主要性质,有助于解释 Follow the Leader(FTL)在强凸集上为何/何时仅有对数后悔(regret)。这使得人们可以直接恢复 Huang 等人的近期结果,并表明当收益向量非负时,FTL 在强凸集上具有对数后悔。- 我们提供了一种高效过程,通过平滑权衡近似误差与曲率,用强凸体近似凸体。这使得人们能将强凸集上的改进算法推广到一般凸集。作为一个具体应用,我们将 Dekel 等关于带提示(Hints)的在线线性优化的结果推广到一般凸集。

关键词

引用

@article{arxiv.2002.03213,
  title  = {Curvature of Feasible Sets in Offline and Online Optimization},
  author = {Marco Molinaro},
  journal= {arXiv preprint arXiv:2002.03213},
  year   = {2021}
}