中文

绕过怪物:可实现性下情境赌博机的一种更快且更简单的最优算法

机器学习 2021-07-13 v5 统计理论 机器学习 统计理论

摘要

我们在可实现性假设下考虑一般的(随机)情境赌博机问题,即期望奖励作为上下文和动作的函数属于一般函数类 F\mathcal{F}。我们设计了一种快速而简单的算法,在所有 TT 轮中仅通过 O(logT){O}(\log T) 次离线回归预言机调用即达到统计最优后悔界。若 TT 事先已知,预言机调用次数可进一步减少至 O(loglogT)O(\log\log T)。我们的结果提供了从情境赌博机到离线回归的第一个通用且最优的归约,解决了情境赌博机文献中的一个重要开放问题。我们结果的一个直接推论是,离线回归的任何进展都会立即在统计和计算上转化为情境赌博机,从而为更广泛的情境赌博机问题类别带来更快的算法和改进的后悔保证。

关键词

引用

@article{arxiv.2003.12699,
  title  = {Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability},
  author = {David Simchi-Levi and Yunzong Xu},
  journal= {arXiv preprint arXiv:2003.12699},
  year   = {2021}
}

备注

Forthcoming in Mathematics of Operations Research