高效随机组合半老虎机的近最优遗憾界

组合多臂老虎机（CMAB）是序贯决策框架的基石，主要由两类算法主导：基于UCB的方法和诸如跟随正则化领导者（FTRL）与在线镜像下降（OMD）的对抗性方法。然而，像CUCB这类突出的基于UCB的方法会受到额外遗憾因子$\log T$的影响，这在长时间范围内是不利的，而像EXP3.M和HYBRID这样的对抗性方法则带来了显著的计算开销。为了解决这一权衡问题，我们引入了随机设置下的组合极小极大最优策略（CMOSS）。CMOSS是一种计算高效的算法，在半老虎机反馈下，当$k\leq \frac{m}{2}$时，其实现与实例无关的遗憾界为$O\big( (\log k)\sqrt{kmT}\big )$；当$k>\frac{m}{2}$时，遗憾界为$O\big((m-k)\sqrt{\log k\log(m-k)T}\big )$，其中$m$是臂的数量，$k$是可行动作的最大基数。至关重要的是，这一结果消除了对$\log T$的依赖，并且在$k$和$m$的对数项范围内，匹配了当$k\leq \frac{m}{2}$时$\Omega\big(\sqrt{kmT}\big)$和当$k>\frac{m}{2}$时$\Omega\big((m-k)\sqrt{\log (\frac{m}{m-k}) T}\big)$的已知下界。我们随后将分析扩展到证明CMOSS也适用于级联反馈。在合成数据集和真实世界数据集上的实验验证了CMOSS在遗憾值和运行效率上均持续优于基准算法。