一维指数族多臂老虎机的 Thompson 采样
机器学习
2013-07-15 v1
摘要
Thompson 采样已在许多复杂的老虎机模型中得到证实，然而参数化多臂老虎机可用的理论保证仍局限于 Bernoulli 情形。在此，我们通过证明使用 Jeffreys 先验的算法在一维指数族老虎机中的渐近最优性来扩展这些结果。我们的证明建立在先前工作的基础上，但也广泛利用了指数族中可用的 Kullback-Leibler 散度和 Fisher 信息量（从而 Jeffreys 先验）的闭式表达。这使我们能够给出指数族后验分布的有限时间指数集中不等式，其本身可能具有研究价值。此外，我们的分析涵盖了一些尚未提出乐观算法的分布，包括重尾指数族。
引用
@article{arxiv.1307.3400,
title = {Thompson Sampling for 1-Dimensional Exponential Family Bandits},
author = {Nathaniel Korda and Emilie Kaufmann and Remi Munos},
journal= {arXiv preprint arXiv:1307.3400},
year = {2013}
}