在奖励未知且随机的臂上分配可分割资源

我们考虑一个决策者在每一期将一单位可再生且可分割的资源分配给若干个臂。这些臂具有未知且随机的奖励，其均值与所分配资源成正比，方差与所分配资源的$b$阶成正比。特别地，若决策者在某期向臂$i$分配资源$A_i$，则奖励$Y_i$为$Y_i(A_i)=A_i \mu_i+A_i^b \xi_{i}$，其中$\mu_i$为未知均值，噪声$\xi_{i}$独立且次高斯。当阶数$b$介于0到1之间时，该框架平滑地桥接了标准随机多臂老虎机与带全反馈的在线学习。我们设计了两种算法，对$b\in [0,1]$取得了最优的依赖于间隙和独立于间隙的遗憾界，并展示了在$b=1/2$处的相变。理论结果依赖于我们新近发展的一个集中不等式，其界定了权重为分数、适应于滤波且单调的次高斯随机变量的线性组合。