Racing Thompson：一种针对非共轭先验的高效 Thompson 采样算法
机器学习
2017-08-17 v1 机器学习
摘要
Thompson 采样在许多多臂老虎机问题中展现出了出色的实证性能。但当前的 Thompson 采样算法仅适用于共轭先验的情况，因为这些算法需要推断后验分布，而当先验不共轭时，推断后验分布在计算上通常是不可行的。在本文中，我们提出了一种新颖的 Thompson 采样算法，该算法仅需从易处理分布中抽取样本，因此即使先验非共轭，我们的算法依然高效。为此，我们通过 Gumbel-Max 技巧将 Thompson 采样重新表述为一个优化问题。随后，我们构造了一组随机变量，目标是识别出均值最高的那一个。最后，我们运用最佳臂识别技术来解决该问题。
引用
@article{arxiv.1708.04781,
title = {Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors},
author = {Yichi Zhou and Jun Zhu and Jingwei Zhuo},
journal= {arXiv preprint arXiv:1708.04781},
year = {2017}
}