最优分批最佳臂辨识

我们研究分批最佳臂辨识（BBAI）问题，其中学习者的目标是以尽可能少的策略切换次数辨识出最佳臂。具体而言，我们旨在以 $1-\delta$ 的概率（对某个小常数 $\delta>0$）找出最佳臂，同时最小化样本复杂度（臂拉动的总次数）与批次复杂度（批次的总数）。我们提出了三批次最佳臂辨识（Tri-BBAI）算法，这是首个在渐近情形（即 $\delta\rightarrow 0$）下达到最优样本复杂度且期望运行 $3$ 批次的分批算法。基于Tri-BBAI，我们进一步提出了近乎最优分批最佳臂辨识（Opt-BBAI）算法，该算法在非渐近情形（即 $\delta$ 有限）下首个达到近乎最优的样本与批次复杂度，同时在 $\delta$ 趋于零时享有与Tri-BBAI相同的批次与样本复杂度。此外，在非渐近情形下，以往分批算法的复杂度通常条件依赖于返回最佳臂（概率至少为 $1-\delta$）这一事件，而在返回次优臂时该复杂度可能无界。相比之下，Opt-BBAI的复杂度不依赖于此类事件。这是通过我们所设计的、用于检查最佳臂是否被淘汰的新颖过程实现的，该过程本身具有独立意义。