在线学习中的最佳情形下界
机器学习
2021-06-25 v1
摘要
在线学习中的大量工作聚焦于对后悔(regret)的次线性上界的研究。在本工作中，我们开启了在线凸优化中最佳情形下界的研究，其中我们界定一个算法相对于事后单一最优动作所能获得的最大改进。该问题由更好理解学习算法自适应性的目标所驱动。另一动机来自公平性：已知最佳情形下界有助于获得满足群体公平性概念的决策论在线学习(DTOL)算法。我们的贡献是一种在带时变正则项的跟随正则化领导者(FTRL)算法中给出最佳情形下界的一般方法，我们用它表明最佳情形下界与现有上后悔界同阶：这包括固定学习率、递减学习率、无时间方法和自适应梯度方法的情况。形成鲜明对比的是，我们表明FTRL的线性化版本可获得负的线性后悔。最后，在含两个专家与二值预测的DTOL中，我们完全刻画了最佳情形序列，从而提供对最佳情形下界的更精细理解。
引用
@article{arxiv.2106.12688,
title = {Best-Case Lower Bounds in Online Learning},
author = {Cristóbal Guzmán and Nishant A. Mehta and Ali Mortazavi},
journal= {arXiv preprint arXiv:2106.12688},
year = {2021}
}
备注
28 pages