线性多臂老板问题的索引最小经验散度算法
机器学习
2024-05-27 v1 信息论
math.IT
摘要
索引最小经验散度(IMED)算法是一种高度有效的方法，相较于克鲁巴-莱布尔上置信界(KL-UCB)算法，能够提供更强的渐近最优性保证。此外，还观察到IMED在实际表现上超越了基于UCB的方法和Thompson抽样。尽管IMED效果显著，但其向具有线性回报的情境老板问题的推广仍未实现。本文提出了IMED算法的线性版本，称为LinIMED算法族。我们证明LinIMED提供了的上 regret界，其中$d`为上下文维数，`T`为时间范围。进一步，通过大量实验研究表明，LinIMED及其变体在某些情境下超越了广泛使用的线性老板算法，如LinUCB和线性Thompson抽样。
引用
@article{arxiv.2405.15200,
title = {Indexed Minimum Empirical Divergence-Based Algorithms for Linear Bandits},
author = {Jie Bian and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:2405.15200},
year = {2024}
}
备注
Accepted to the Transactions on Machine Learning Research (TMLR)