基于成员 oracle 的无投影自适应遗憾界
机器学习
2022-12-16 v2 最优化与控制
机器学习
摘要
在线凸优化框架中,多数迭代算法需计算到凸集上的投影,这可能计算代价高昂。为应对该问题,HK12 提出研究以较廉价计算替代投影的无投影方法。最常见方法基于 Frank-Wolfe 方法,其以线性优化计算代替投影。GK22 近期工作基于 Frank-Wolfe 方法给出了无投影算法的次线性自适应遗憾保证。本文给出基于不同技术的无投影算法,其受 Mhammedi22 启发,以集合成员计算替代投影。我们提出一种简单的基于惰性梯度的 Minkowski 正则化算法,获得近最优自适应遗憾界。对一般凸损失函数,我们将先前自适应遗憾界从 提升至 ,并进一步至紧的区间依赖界 ,其中 表示区间长度。对强凸函数,我们首次利用无投影算法获得多对数自适应遗憾界。
引用
@article{arxiv.2211.12638,
title = {Projection-free Adaptive Regret with Membership Oracles},
author = {Zhou Lu and Nataly Brukhim and Paula Gradu and Elad Hazan},
journal= {arXiv preprint arXiv:2211.12638},
year = {2022}
}