低秩广义线性bandit问题

在低秩线性bandit问题中，一个动作（由大小为$d_1 \times d_2$的矩阵表示）的奖励是该动作与未知低秩矩阵$\Theta^*$的内积。我们提出了一种基于在线到置信集转换~\citep{abbasi2012online}和对低秩矩阵覆盖构造的指数加权平均预测器的新颖组合的算法。在$T$轮中，我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$的regret，当$\Theta^*$的秩：$r \ll \min\{d_1,d_2\}$时，优于标准线性bandit的regret界$\widetilde{O}(d_1d_2\sqrt{T})$。我们还将算法方法扩展到广义线性设置，得到在链接函数正则条件下具有类似界的算法。为规避基于覆盖的方法的计算难解性，我们通过扩展~\citet{jun2019bilinear}的“先探索子空间再精炼”算法，提出了一种高效算法。我们的高效算法在动作集$\mathcal{X}$和$\Theta^*$的第$r$个奇异值上的温和条件下实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$的regret。我们的上界与\cite{jun2019bilinear}推测的低秩线性bandit问题子类的下界相匹配。此外，我们表明现有的稀疏线性bandit问题下界强烈暗示我们的regret界是不可改进的。为补充我们的理论贡献，我们还进行了实验，证明当$\Theta^*$为低秩时，我们的算法可以大幅优于标准线性bandit方法的性能。