方差最优臂选择：误分配最小化与最佳臂识别

本文聚焦于从 K 个独立臂中选择方差最高的那一臂。具体而言，我们关注两种情形：（i）误分配最小化情形，即以方差为度量惩罚次优臂的拉取次数；（ii）固定预算的最佳臂识别情形，即评估算法在固定拉取次数后确定方差最高的那一臂的能力。我们发展了一种名为 UCB-VV 的新型在线算法，用于误分配最小化（MM），并证明其对有界奖励的误分配上界演化为 $\mathcal{O}\left(\log{n}\right)$，其中 n 为时间步长。通过推导误分配的下界，我们表明 UCB-VV 是阶最优的。对于固定预算的最佳臂识别（BAI）情形，我们提出了 SHVV 算法。我们证明 SHVV 的错误概率上界演化为 $\exp\left(-\frac{n}{\log(K) H}\right)$，其中 H 表示问题的复杂度，该收敛率与相应的下界相匹配。我们将框架从有界分布扩展到亚高斯分布，借此推导了关于样本方差和标准差的新型浓度不等式。基于此，我们推导了亚高斯分布下经验 Sharpe 比（SR）的浓度不等式，而这在文献中以前并未知晓。经验仿真表明，UCB-VV 在不同次优间隙下始终优于 $\epsilon$-贪婪策略，尽管被 VTS 超越，后者显示最低的误分配，但缺乏理论保证。我们还在 6 种不同情形下证明了 SHVV 在固定预算情形下的优越性能，优于均匀抽样。最后，我们进行了一个案例研究，在 100 只由几何布朗运动（GBM）生成的股票上，经验评估了 UCB-VV 和 SHVV 的性能。