频率学派最优臂识别中贝叶斯最优算法的次优表现

我们考虑奖励服从正态分布的固定预算最优臂识别问题。在该问题中，预测者拥有 $K$ 个臂（或处理）和 $T$ 个时间步。预测者试图通过使用算法进行的自适应实验来找到均值最大的臂。算法的性能通过简单遗憾来评估，它反映了估计的最优臂的质量。频率学派的简单遗憾可以随 $T$ 呈指数级下降，而贝叶斯简单遗憾则呈多项式下降。本文证明，在某些参数设置下，最小化贝叶斯简单遗憾的贝叶斯最优算法并不能产生指数级下降的简单遗憾。这与众多表明贝叶斯方法和频率学派方法在固定采样机制下渐近等价的研究发现形成对比。尽管贝叶斯最优算法被表述为一个几乎无法精确计算的递归方程，但我们通过引入一个称为期望贝尔曼改进的新概念，为未来的研究奠定了基础。