具有低秩结构的双线性bandit问题

我们引入了具有低秩结构的双线性bandit问题，其中动作由来自两种不同实体类型的臂对组成，奖励是这些臂的已知特征向量的双线性函数。该问题中未知的是一个 $d_1 \times d_2$ 矩阵 $\mathbf{\Theta}^*$，它定义了奖励，且具有低秩 $r \ll \min\{d_1,d_2\}$。在具有该低秩结构的情况下确定 $\mathbf{\Theta}^*$ 给寻找正确的探索-利用权衡带来了重大挑战。在这项工作中，我们提出了一种称为“先探索子空间再精炼”（ESTR）的新两阶段算法。第一阶段是显式的子空间探索，第二阶段是一种称为“近似低维OFUL”（LowOFUL）的线性bandit算法，它通过正则化技术利用并进一步精炼估计的子空间。我们证明ESTR的遗憾为 $\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$，其中 $\widetilde{\mathcal{O}}$ 隐藏了对数因子，$T$ 是时间范围，这相比于朴素线性bandit归约所达到的 $\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$ 遗憾有所改进。我们推测ESTR的遗憾界在polylog因子内是不可改进的，并且我们的初步实验表明ESTR优于朴素线性bandit归约。