Efficient-UCBV：一种利用方差估计的近乎最优算法

我们提出一种 UCB 算法的新变体（称为 Efficient-UCB-Variance (EUCBV)），用于在随机多臂老虎机（MAB）设定下最小化累积后悔。EUCBV 结合了 UCB-Improved \citep{auer2010ucb} 中提出的臂消除策略，同时考虑方差估计以计算各臂的置信界，类似于 UCBV \citep{audibert2009exploration}。通过理论分析我们确定，EUCBV 在 $T$ 次试验后产生依赖于间隙（gap-dependent）的后悔界 {\scriptsize $O\left( \dfrac{K\sigma^2_{\max} \log (T\Delta^2 /K)}{\Delta}\right)$}，其中 $\Delta$ 为最优臂与次优臂间的最小间隙；上述界优于现有最先进的 UCB 算法（如 UCB1、UCB-Improved、UCBV、MOSS）。此外，EUCBV 产生独立于间隙（gap-independent）的后悔界 {\scriptsize $O\left(\sqrt{KT}\right)$}，优于 UCB1、UCBV 和 UCB-Improved，同时与 MOSS 和 OCUCB 相当。通过广泛的数值研究，我们表明 EUCBV 显著优于流行的 UCB 变体（如 MOSS、OCUCB 等）以及 Thompson 采样与 Bayes-UCB 算法。