睡眠半型臂组合 Thompson 抽样的最坏情形后悔界

我们重新审视了用于睡眠半型臂的组合 Thompson 抽样 (CTS)，其中臂的可用性随时间变化且动作必须满足组合约束，如下无线网格路由中随链路可用性变化所需。尽管其实际应用广泛，但 CTS 长期以来一直面临几个根本性问题：(i) 在不含睡眠臂的情况下，半型臂环境下 CTS 缺乏最坏情形后悔保证，(ii) 缺乏对 adversarially 可变可用性的理论分析，(iii) CTS 采用高斯先验 (CTS-G) 时始终表现不佳。本文通过提供 CTS-G 的首个最坏情形后悔分析，证明其上界为 $\tilde{O}(m\sqrt{NT})$，并给出匹配的下界 $\tilde{\Omega}(m\sqrt{NT})$。为弥合理论与实践之间的差距，我们进一步提出 CL-SG—a 一种简单变体 CTS-G，该方法每轮抽样一个共享的高斯随机种子以协调跨臂的探索。我们证明 CL-SG 获得 improved 后悔界 $\tilde{O}(\sqrt{mNT})$，并给出匹配下界 $\Omega(\sqrt{mNT})$。在真实数据集上的实验表明，CL-SG 持续优于包括 CTS-G 和 CTS-B 在内的强大基准方法，我们已开源实现以便可重复性。