中文

基于成员 oracle 的无投影自适应遗憾界

机器学习 2022-12-16 v2 最优化与控制 机器学习

摘要

在线凸优化框架中,多数迭代算法需计算到凸集上的投影,这可能计算代价高昂。为应对该问题,HK12 提出研究以较廉价计算替代投影的无投影方法。最常见方法基于 Frank-Wolfe 方法,其以线性优化计算代替投影。GK22 近期工作基于 Frank-Wolfe 方法给出了无投影算法的次线性自适应遗憾保证。本文给出基于不同技术的无投影算法,其受 Mhammedi22 启发,以集合成员计算替代投影。我们提出一种简单的基于惰性梯度的 Minkowski 正则化算法,获得近最优自适应遗憾界。对一般凸损失函数,我们将先前自适应遗憾界从 O(T3/4)O(T^{3/4}) 提升至 O(T)O(\sqrt{T}),并进一步至紧的区间依赖界 O~(I)\tilde{O}(\sqrt{I}),其中 II 表示区间长度。对强凸函数,我们首次利用无投影算法获得多对数自适应遗憾界。

关键词

引用

@article{arxiv.2211.12638,
  title  = {Projection-free Adaptive Regret with Membership Oracles},
  author = {Zhou Lu and Nataly Brukhim and Paula Gradu and Elad Hazan},
  journal= {arXiv preprint arXiv:2211.12638},
  year   = {2022}
}