强凸光滑函数动态遗憾的改进分析
机器学习
2021-04-15 v2 机器学习
摘要
本文针对强凸光滑函数的动态遗憾给出了改进分析。具体而言,我们研究了 Zhang 等人(2017)提出的在线多重梯度下降(OMGD)算法。原分析表明 OMGD 的动态遗憾至多为 ,其中 和 分别为路径长度和平方路径长度,用于度量在线函数极小值的累积移动。我们证明,通过改进分析,OMGD 的动态遗憾可改进为 ,其中 为在线函数的函数变差。注意 本质上反映了环境非平稳性的不同方面——它们一般不可比较,且在不同场景中各有优势。因此,本文给出的动态遗憾实际上实现了\emph{三世界最佳}保证,且严格优于先前结果。
引用
@article{arxiv.2006.05876,
title = {Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions},
author = {Peng Zhao and Lijun Zhang},
journal= {arXiv preprint arXiv:2006.05876},
year = {2021}
}
备注
To appear at L4DC 2021