关于最佳臂识别的最优样本复杂度

我们研究最佳臂识别（BEST-1-ARM）问题，定义如下。给定 $n$ 个随机赌博机臂。第 $i$ 个臂具有奖励分布 $D_i$，其均值 $\mu_{i}$ 未知。每次播放第 $i$ 个臂，我们可以获得一个奖励，从 $D_i$ 中独立同分布采样。我们希望以至少 $1-\delta$ 的概率识别具有最大均值的臂，并使用尽可能少的样本。我们为BEST-1-ARM提供了一种非平凡算法，改进了先前关于同一问题的几个上界。我们还研究了一个只有两个臂的重要特例，称之为符号问题（sign problem）。我们提供了符号问题的一个新下界，以全新证明简化并显著扩展了Farrell于1964年的经典结果。利用符号问题的新下界，我们通过从符号问题到BEST-1-ARM的有趣归约，获得了超越经典Mannor-Tsitsiklis下界的BEST-1-ARM首个下界。我们从实例最优性的角度提出了一个关于BEST-1-ARM最优样本复杂度的有趣猜想。