再生粒子汤普森采样
机器学习
2024-01-24 v3 统计计算
摘要
本文提出再生粒子汤普森采样（RPTS），这是汤普森采样的一种灵活变体。汤普森采样本身是一种用于求解随机_bandit（多臂老虎机）问题的贝叶斯启发式方法，但由于维持连续后验分布的难处理性，在实践中难以实现。粒子汤普森采样（PTS）是通过简单地用一组加权重静态粒子支撑的离散分布替换连续分布而得到的汤普森采样近似。我们观察到，在 PTS 中，除少数适配粒子外，所有粒子的权重都收敛到零。RPTS 基于如下启发式：删除衰减的不适配粒子，并在存活的适配粒子附近重新生成新粒子。经验证据表明，在一组具有代表性的 bandit 问题（包括一个 5G 网络切片应用）上，从 PTS 到 RPTS 有一致的改进，且 RPTS 具有灵活性与有效性。
引用
@article{arxiv.2203.08082,
title = {Regenerative Particle Thompson Sampling},
author = {Zeyu Zhou and Bruce Hajek and Nakjung Choi and Anwar Walid},
journal= {arXiv preprint arXiv:2203.08082},
year = {2024}
}
备注
Mainbody 14 pages, appendix 32 pages, 16 figures