Thompson 采样在 logistic 赌博机上的性能研究

我们研究 logistic 赌博机，其中奖励为二值，成功概率为 $\exp(\beta a^\top \theta) / (1 + \exp(\beta a^\top \theta))$，动作 $a$ 与系数 $\theta$ 均位于 $d$ 维单位球内。尽管先前针对 logistic 赌博机算法的后悔界对斜率参数 $\beta$ 呈指数依赖，我们建立了 Thompson 采样的一个与 $\beta$ 无关的后悔界。具体而言，我们证明当可行动作集与可能系数向量集相同时，Thompson 采样的贝叶斯后悔为 $\tilde{O}(d\sqrt{T})$。我们还建立了一个适用面更广的 $\tilde{O}(\sqrt{d\eta T}/\lambda)$ 界，其中 $\lambda$ 为最坏情形最优对数几率，$\eta$ 为我们所定义的新的统计量“脆弱维数”，用以刻画某一模型的最优动作在其它模型下未能满足（satisfice）的程度。我们证明脆弱维数起着本质作用：对任意 $\epsilon > 0$，任何算法均无法达到 $\mathrm{poly}(d, 1/\lambda)\cdot T^{1-\epsilon}$ 的后悔。