具有相关臂的多臂老虎机
机器学习
2021-09-13 v4 机器学习
摘要
我们考虑一种多臂老虎机框架，其中拉动不同臂所获得的奖励是相关的。我们开发了一种统一的方法来利用这些奖励相关性，并将经典老虎机算法基本推广到相关设定中。我们提出了一种统一的证明技术来分析所提出的算法。对 C-UCB（上置信界的相关老虎机版本）的严格分析表明，该算法最终仅以 O(1) 次拉动某些被称为非竞争性的次优臂，而经典老虎机算法（如 UCB、TS 等）需要 O(log T) 次拉动。我们给出了后悔下界，并表明当臂通过潜在随机源相关时，我们的算法获得了阶最优的后悔。我们在 MovieLens 和 Goodreads 数据集上通过实验验证了所提出的算法，并显示出相对于经典老虎机算法的显著改进。
引用
@article{arxiv.1911.03959,
title = {Multi-Armed Bandits with Correlated Arms},
author = {Samarth Gupta and Shreyas Chaudhari and Gauri Joshi and Osman Yağan},
journal= {arXiv preprint arXiv:1911.03959},
year = {2021}
}
备注
A special case of the model studied in this paper is presented in arXiv:1808.05904