基于在线自助法的 Thompson 采样

Thompson 采样为多臂老虎机问题提供了一种解决方案，其中新观测值被分配给那些具有最优后验概率的臂。尽管该方法有时易于实现且具有渐近最优性，但在大规模老虎机问题中，Thompson 采样可能计算量巨大，且其性能依赖于对观测数据的模型拟合程度。我们提出了自助法 Thompson 采样（BTS），这是一种解决老虎机问题的启发式方法，它通过用自助分布替换 Thompson 采样中使用的后验分布来改进后者。我们首先解释了 BTS，并表明在研究充分的伯努利老虎机案例中，BTS 的性能与 Thompson 采样具有竞争力。随后，我们详细说明了为何使用在线自助法的 BTS 比常规 Thompson 采样更具可扩展性，并通过模拟显示 BTS 对误差分布的错误设定更具鲁棒性。当无法获取后验样本或获取成本高昂时，BTS 是 Thompson 采样的一种极具吸引力的改进方案。