离线与在线优化中可行集的曲率
数据结构与算法
2021-05-12 v2 最优化与控制
摘要
已知凸优化中可行集的曲率可带来具有更优收敛速率的算法,并且近来对于离线与在线问题该话题都重新引起关注。在本文中,借助几何与凸分析的结果,我们深化了对曲率在优化中作用的理解:- 我们首先证明了两种曲率概念即强凸性与规范体(gauge bodies)的等价性,证实了 Abernethy 等人的猜想。由此表明,Wang 与 Abernethy 的 Frank-Wolfe 型方法在强凸可行集上具有加速收敛速率 ,且对(凸)目标函数无需额外假设。- 在在线线性优化中,我们识别出两个主要性质,有助于解释 Follow the Leader(FTL)在强凸集上为何/何时仅有对数后悔(regret)。这使得人们可以直接恢复 Huang 等人的近期结果,并表明当收益向量非负时,FTL 在强凸集上具有对数后悔。- 我们提供了一种高效过程,通过平滑权衡近似误差与曲率,用强凸体近似凸体。这使得人们能将强凸集上的改进算法推广到一般凸集。作为一个具体应用,我们将 Dekel 等关于带提示(Hints)的在线线性优化的结果推广到一般凸集。
引用
@article{arxiv.2002.03213,
title = {Curvature of Feasible Sets in Offline and Online Optimization},
author = {Marco Molinaro},
journal= {arXiv preprint arXiv:2002.03213},
year = {2021}
}