方差感知的稀疏线性_bandits

众所周知，对于稀疏线性 bandits，当忽略远小于环境维数的稀疏性依赖时，最坏情况极小极大后悔为 $\widetilde{\Theta}\left(\sqrt{dT}\right)$，其中 $d$ 为环境维数，$T$ 为轮数。另一方面，在无噪声且动作集为单位球面的良性设定下，可使用分治法达到 $\widetilde{\mathcal O}(1)$ 后悔，其(近似)独立于 $d$ 与 $T$。本文给出首个稀疏线性 bandits 的方差感知后悔保证：$\widetilde{\mathcal O}\left(\sqrt{d\sum_{t=1}^T \sigma_t^2} + 1\right)$，其中 $\sigma_t^2$ 为第 $t$ 轮噪声的方差。该界自然插值了最坏情况常方差机制(即 $\sigma_t \equiv \Omega(1)$)与良性确定性机制(即 $\sigma_t \equiv 0$)下的后悔界。为获得此方差感知后悔保证，我们开发了一个通用框架，以“黑盒”方式将任意方差感知线性 bandit 算法转化为稀疏线性 bandits 的方差感知算法。具体地，我们取两种近期算法作为黑盒以说明所声称的界确实成立，其中第一种算法可处理未知方差情形，第二种更高效。