具有重尾奖励的低秩矩阵 Bandit

在随机低秩矩阵 bandit 中，一个臂的期望奖励等于其特征矩阵与某个未知的 $d_1 \times d_2$ 低秩参数矩阵 $\Theta^*$ 的内积，该矩阵的秩 $r \ll d_1 \wedge d_2$。以往的所有研究都假设收益混合了次高斯噪声，而在本文中，我们放宽了这一严格假设，考虑了具有重尾奖励（LowHTR）的低秩矩阵 bandit 新问题，其中奖励对于某个 $\delta \in (0,1]$ 仅具有有限的 $(1+\delta)$ 阶矩。通过利用对观测收益的截断和动态探索，我们提出了一种名为 LOTUS 的新算法，在不知道 $T$ 的情况下，实现了阶为 $\tilde O(d^\frac{3}{2}r^\frac{1}{2}T^\frac{1}{1+\delta}/\tilde{D}_{rr})$ 的遗憾界，当 $\delta = 1$ 时，这与次高斯噪声下的最先进遗憾界~\citep{lu2021low,kang2022efficient} 相匹配。此外，我们为 LowHTR 建立了阶为 $\Omega(d^\frac{\delta}{1+\delta} r^\frac{\delta}{1+\delta} T^\frac{1}{1+\delta}) = \Omega(T^\frac{1}{1+\delta})$ 的下界，这表明我们的 LOTUS 在 $T$ 的阶上几乎是最优的。另外，我们改进了 LOTUS，使其不需要知道秩 $r$，遗憾界为 $\tilde O(dr^\frac{3}{2}T^\frac{1+\delta}{1+2\delta})$，并且在高维场景下十分高效。我们还进行了仿真实验，以证明我们算法的实际优越性。