Logistic 型阈值问题中Thompson 抽样的信息论分析

我们研究了Thompson抽样算法在Logistic型阈值问题中的性能。在这种设置下，智能体接收二元奖励，其概率由Logistic函数 $\exp(\beta \langle a, \theta \rangle)/(1+\exp(\beta \langle a, \theta \rangle))$ 决定，其中斜率参数为 $\beta>0$，且动作 $a\in \mathcal{A}$ 和参数 $\theta \in \mathcal{O}$ 均位于 $d$ 维单位球内。采用Russo和Van Roy (2016) 引入的信息论框架，我们分析了信息比，即一种量化即时报酬损失与关于最优动作信息增益之间权衡的统计量。我们在先前结果的基础上改进，证明信息比被界定为 $\tfrac{9}{2}d\alpha^{-2}$，其中 $\alpha$ 是动作空间 $\mathcal{A}$ 与参数空间 $\mathcal{O}$ 对齐程度的鲁棒度度量，与 $\beta$ 无关。利用这一结果，我们推导出Thompson抽样在执行 $T$ 个时间步后所产生的贝叶斯期望后悔的界为 $O(d/\alpha\sqrt{T \log(\beta T/d)})$。据我们了解，这是首个仅以 $\beta$ 的对数依赖且独立于动作数量的Logistic型阈值后悔界。特别是，当动作空间包含参数空间时，期望后悔的界为 $\tilde{O}(d \sqrt{T})$。