具有对抗性损坏的线性上下文赌博机

我们研究在存在对抗性损坏情况下的线性上下文赌博机问题，其中玩家与可能无限决策集之间的交互被对手污染，该对手可损坏奖励，损坏水平 $C$ 由每轮奖励上最大改动之和度量。我们提出一种能自适应于对抗污染水平 $C$ 的方差感知算法。关键算法设计包括 (1) 观测数据的多级划分方案，(2) 自适应于损坏水平的级联置信集，以及 (3) 可利用低方差奖励的方差感知置信集构造。我们进一步证明所提算法的后悔界为 $\tilde{O}(C^2d\sqrt{\sum_{t = 1}^T \sigma_t^2} + C^2R\sqrt{dT})$，其中 $d$ 为上下文向量维度，$T$ 为轮数，$R$ 为噪声范围，$\sigma_t^2,t=1\ldots,T$ 为瞬时奖励的方差。我们还证明了所提算法的间隙依赖后悔界，其为实例依赖的，从而在良好的实际实例上带来更优性能。据我们所知，这是首个针对上下文赌博机的方差感知抗损坏鲁棒算法。在合成数据上的实验证实了我们的理论。