带贪心预言机的组合半赌博机中 Thompson 采样的难度分析

Thompson 采样（TS）在赌博机领域引起了大量关注。它于 1930 年代被提出，但直到近年才在理论上得到证明。其在组合多臂赌博机（CMAB）设定下的所有分析都需要一个精确预言机来提供任意输入下的最优解。然而，这样的预言机通常不可行，因为许多组合优化问题是 NP-hard 的，只有近似预言机可用。一个例子（Wang and Chen, 2018）展示了 TS 在使用近似预言机时学习的失败。然而，该预言机并不常见，且仅针对特定问题实例设计。TS 的收敛分析能否在 CMAB 中推广到精确预言机之外，仍是一个开放问题。在本文中，我们在贪心预言机下研究该问题，贪心预言机是一种常见的（近似）预言机，具有理论保证可求解许多（离线）组合优化问题。我们给出了阶为 $\Omega(\log T/\Delta^2)$ 的问题相关后悔下界，以量化 TS 使用贪心预言机求解 CMAB 问题的难度，其中 $T$ 为时间范围，$\Delta$ 为某种奖励间隙。我们还给出了几乎匹配的后悔上界。这些是 TS 使用常见近似预言机求解 CMAB 的首个理论结果，并打破了 TS 无法与近似预言机协作的误解。