面向组合半臂赌博机的高效最优协方差自适应算法
机器学习
2024-11-18 v4 统计理论
机器学习
统计理论
摘要
我们研究了随机组合半臂赌博机问题，其中玩家从包含d个基础项的集合的幂集中选择P个动作。对问题结构的自适应性对于获得最优遗憾上界至关重要。由于在实践中估计协方差矩阵的系数是可行的，利用它们应该能改善遗憾。我们设计了“乐观的”协方差自适应算法，依赖于协方差结构的在线估计，分别称为OLS-UCB-C和COS-V（后者仅使用方差）。两者都改进了无间隙遗憾。尽管COS-V可能略微次优，但它通过借鉴汤普森采样方法在计算复杂度上有所改进。它是第一个满足T^{1/2}无间隙遗憾（至多对数因子）的基于采样的算法。我们还表明，在某些情况下，我们的方法有效地利用了半臂反馈，并优于臂反馈方法，不仅在P >> d的指数级场景中，而且在P <= d时也是如此，这超出了现有分析的范围。
引用
@article{arxiv.2402.15171,
title = {Towards Efficient and Optimal Covariance-Adaptive Algorithms for Combinatorial Semi-Bandits},
author = {Julien Zhou and Pierre Gaillard and Thibaud Rahier and Houssam Zenati and Julyan Arbel},
journal= {arXiv preprint arXiv:2402.15171},
year = {2024}
}