强自适应方法的动态遗憾与在线 KRR 的最优性
机器学习
2021-11-24 v1 机器学习
摘要
我们考虑非平稳在线凸优化框架，其中学习者试图控制其相对于任意比较器序列的动态遗憾。当损失函数强凸或指数凹时，我们证明强自适应（SA）算法可视为一种以比较器序列的路径变化 来控制动态遗憾的系统性方法。具体而言，我们证明 SA 算法在无需先验知道 的情况下，对强凸损失和指数凹损失分别享有 和 的动态遗憾。该系统性方法的通用性进一步由针对有界线性预测器学习和带高斯核的在线回归设置中的新结果所展示。在相关设置下，本文的第二部分解决了 Zhdanov 和 Kalnishkan（2010）提出的一个开放问题，该问题涉及带平方误差损失的在线核回归。我们推导了关于某惩罚遗憾的新下界，确立了在线核岭回归（KRR）的近极小极大最优性。我们的下界可视为 Vovk（2001）有限维在线线性回归下界在 RKHS 上的推广。
引用
@article{arxiv.2111.11550,
title = {Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR},
author = {Dheeraj Baby and Hilaf Hasson and Yuyang Wang},
journal= {arXiv preprint arXiv:2111.11550},
year = {2021}
}