具有相似臂的图反馈多臂老虎机
机器学习
2024-05-21 v1
摘要
在本文中，我们研究了具有图反馈的随机多臂老虎机问题。受临床试验和推荐问题的启发，我们假设两个臂当且仅当它们相似（即它们的均值足够接近）时才相连。我们为这种新颖的反馈结构建立了一个遗憾下界，并引入了两种基于 UCB 的算法：具有问题无关遗憾上界的 D-UCB 和具有问题相关上界的 C-UCB。利用相似性结构，我们还考虑了臂数量随时间增加的场景。与此场景相关的实际应用包括问答平台（Reddit、Stack Overflow、Quora）以及 Amazon 和 Flipkart 上的产品评论。答案（产品评论）不断出现在网站上，目标是将最佳答案（产品评论）展示在顶部。当臂的均值独立地从某个分布中生成时，我们为两种算法提供了遗憾上界，并讨论了上界相对于均值分布的次线性性质。最后，我们进行了实验以验证理论结果。
引用
@article{arxiv.2405.11171,
title = {Graph Feedback Bandits with Similar Arms},
author = {Han Qi and Guo Fei and Li Zhu},
journal= {arXiv preprint arXiv:2405.11171},
year = {2024}
}