面向相似臂的图形反馈多臂偏置问题：有图结构与无图结构
机器学习
2025-09-18 v2
摘要
本文研究具有图形反馈的随机多臂偏置问题。我们假设两个臂如果且仅于它们的均值彼此接近时才被视为相似。我们为该问题在新颖反馈结构下建立了 regret 下界，并引入两种基于上置信界（UCB）的算法：Double-UCB（具有问题无关的regret上界）和Conservative-UCB（具有问题相关的上置信界）。利用相似性结构，我们还探讨臂数随时间增加的场景（称为“膨胀设置”）。此类场景的实际应用包括Q&A平台（如Reddit、Stack Overflow、Quora）和电商平台（如Amazon、Flipkart）的用户评论，其中不断出现新问题（或评论），目标是将最佳答案（或评论）置于顶部。我们将这两种UCB算法扩展到膨胀设置下。在轻度假设下，我们为两种算法提供了regret上界并讨论其亚线性。此外，我们提出一种不依赖于图结构先验信息的算法版本，并提供regret上界。最后，我们进行实验以验证理论结果。
引用
@article{arxiv.2501.14314,
title = {Graph Feedback Bandits on Similar Arms: With and Without Graph Structures},
author = {Han Qi and Fei Guo and Li Zhu and Qiaosheng Zhang},
journal= {arXiv preprint arXiv:2501.14314},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2405.11171