用于最优臂识别与流体分析的最优Top-Two方法

Top-$2$ 方法在解决最优臂识别（BAI）问题中变得流行。最优臂，即在有限多个臂中具有最大均值的臂，通过一种算法来识别：在任何序贯步骤中，该算法以固定概率 $\beta$ 独立地拉动经验最优臂，否则拉动最佳挑战者臂。这保证了错误选择的概率低于指定的 $\delta >0$。对于 BAI 问题，样本复杂度的信息论下界是众所周知的，并且随着 $\delta \rightarrow 0$，计算代价高的插入式方法可以渐近地匹配该下界。对于任何 $\beta \in (0,1)$，上述 top 2 算法的样本复杂度与下界相差一个常数因子。然而，确定匹配下界的最优 $\beta$ 被证明是困难的。在本文中，我们解决了这一问题并提出了一种最优的 top-2 型算法。我们考虑一个以阈值为锚定的分配函数。如果它超过阈值，则算法对经验最优臂进行采样。否则，它对挑战者臂进行采样。我们证明了所提出的算法在 $\delta \rightarrow 0$ 时是最优的。我们的分析依赖于识别出分配的极限流体动力学，该动力学满足拼接在一起的常微分方程组，并描述了算法所遵循的渐近路径。我们依赖隐函数定理来证明这些流体常微分方程的存在性与唯一性，并证明所提出的算法始终接近该常微分方程的解。