对决多臂老虎机的双重 Thompson 采样

本文针对对决多臂老虎机问题提出了一种双重 Thompson 采样（D-TS）算法。顾名思义，D-TS 根据 Thompson 采样同时选择第一和第二个候选。具体而言，D-TS 维护偏好矩阵的后验分布，并通过从后验分布中采样两次来选择用于比较的臂对。这一简单算法适用于一般的 Copeland 对决老虎机，其中包括 Condorcet 对决老虎机作为其特例。对于一般的 Copeland 对决老虎机，我们证明 D-TS 达到 $O(K^2 \log T)$ 后悔界。对于 Condorcet 对决老虎机，我们进一步简化 D-TS 算法，并证明简化后的 D-TS 算法达到 $O(K \log T + K^2 \log \log T)$ 后悔界。基于合成和真实世界数据的仿真结果证明了所提出的 D-TS 算法的有效性。