中文

强凸光滑函数动态遗憾的改进分析

机器学习 2021-04-15 v2 机器学习

摘要

本文针对强凸光滑函数的动态遗憾给出了改进分析。具体而言,我们研究了 Zhang 等人(2017)提出的在线多重梯度下降(OMGD)算法。原分析表明 OMGD 的动态遗憾至多为 O(min{PT,ST})\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\}),其中 PT\mathcal{P}_TST\mathcal{S}_T 分别为路径长度和平方路径长度,用于度量在线函数极小值的累积移动。我们证明,通过改进分析,OMGD 的动态遗憾可改进为 O(min{PT,ST,VT})\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\}),其中 VT\mathcal{V}_T 为在线函数的函数变差。注意 PT,ST,VT\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T 本质上反映了环境非平稳性的不同方面——它们一般不可比较,且在不同场景中各有优势。因此,本文给出的动态遗憾实际上实现了\emph{三世界最佳}保证,且严格优于先前结果。

关键词

引用

@article{arxiv.2006.05876,
  title  = {Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions},
  author = {Peng Zhao and Lijun Zhang},
  journal= {arXiv preprint arXiv:2006.05876},
  year   = {2021}
}

备注

To appear at L4DC 2021