强自适应方法的动态遗憾
机器学习
2018-06-05 v3
摘要
为应对变化的环境，在线学习的最新进展独立引入了自适应遗憾和动态遗憾的概念。在本文中，我们通过表明动态遗憾可用自适应遗憾和函数变化量表示，阐明了这两个概念之间的内在联系。这一观察意味着强自适应算法可直接用于最小化动态遗憾。因此，我们提出了一系列强自适应算法，分别对凸函数、指数凹函数和强凸函数具有较小的动态遗憾。据我们所知，这是首次利用指数凹性来给出动态遗憾的上界。此外，所有这些自适应算法都不需要函数变化量的任何先验知识，这是相对于先前用于最小化动态遗憾的专门方法的显著优势。
引用
@article{arxiv.1701.07570,
title = {Dynamic Regret of Strongly Adaptive Methods},
author = {Lijun Zhang and Tianbao Yang and Rong Jin and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:1701.07570},
year = {2018}
}