可微线性_bandit 算法

上置信界（UCB）可以说是线性多臂 bandit 问题最常用的方法。尽管在概念和计算上简单，该方法高度依赖置信界，若这些界设置不当则无法达成最优探索-利用权衡。文献中，置信界通常基于奖励分布假设（如次高斯性）由集中不等式导出。然而这些假设的有效性在实践中未知。本工作中，我们旨在以数据驱动方式学习置信界，使其适应实际问题结构。具体而言，注意到现有 UCB 型算法关于置信界不可微，我们首先提出一种新颖的可微线性 bandit 算法。随后，我们引入梯度估计器，允许通过梯度上升学习置信界。理论上，我们证明所提算法达到 $T$ 轮后悔的 $\tilde{\mathcal{O}}(\hat{\beta}\sqrt{dT})$ 上界，其中 $d$ 为臂特征的维度，$\hat{\beta}$ 为学习到的置信界大小。实证结果显示 $\hat{\beta}$ 显著小于其理论上界，且所提算法在模拟与真实数据集上均优于基线方法。