线性上下文赌博机的两全其美算法

我们研究了 $K$ 臂线性上下文赌博机的两全其美算法。我们的算法在对抗性和随机性环境下都能提供接近最优的遗憾界，且无需事先了解环境。在随机性环境下，我们实现了多对数速率 $\frac{(dK)^2\mathrm{poly}\log(dKT)}{\Delta_{\min}}$，其中 $\Delta_{\min}$ 是 $d$ 维上下文空间上的最小次优性间隙。在对抗性环境下，我们得到一阶 $\widetilde{O}(dK\sqrt{L^*})$ 界或二阶 $\widetilde{O}(dK\sqrt{\Lambda^*})$ 界，其中 $L^*$ 是最佳动作的累积损失，$\Lambda^*$ 是算法所产生损失的累积二阶矩概念。此外，我们开发了一种基于带有香农熵正则化器的 FTRL 算法，该算法不需要知道协方差矩阵的逆，在随机性环境下实现多对数遗憾，同时在对抗性环境下获得 $\widetilde{O}\big(dK\sqrt{T}\big)$ 遗憾界。