通过有限数据验证使随机_bandit免受投毒攻击

我们研究有界奖励设定下受数据投毒攻击的 bandit 算法。我们考虑一种强攻击者模型，其中攻击者可以观测所选动作及其对应奖励，并可用加性噪声污染奖励。我们证明任何具有 $O(\log T)$ 后悔的 bandit 算法都可被迫使承受 $\Omega(T)$ 的后悔，而期望污染量为 $O(\log T)$。该污染量也是必要的，因为我们证明存在一个 $O(\log T)$ 后悔的 bandit 算法（具体地，经典 UCB）需要 $\Omega(\log T)$ 的污染量才会遭受 $\Omega(T)$ 的后悔。为抵御此类攻击，我们的第二个主要贡献是提出基于验证的机制，其利用有限验证来访问有限数量未受污染的奖励。特别地，对于无限验证的情形，我们证明以 $O(\log T)$ 的期望验证次数，一种简单修改的 ETC 类 bandit 算法可恢复阶最优的 $O(\log T)$ 后悔，而与攻击者使用的污染量无关。我们还提供一种类 UCB 的验证方案，称为 Secure-UCB，它也能从任何攻击中完全恢复，同样只需 $O(\log T)$ 期望验证次数。为推导验证次数的匹配下界，我们证明对于任何阶最优 bandit 算法，要恢复阶最优后悔，此 $\Omega(\log T)$ 验证次数是必要的。另一方面，当验证次数以上界预算 $B$ 受限时，我们提出一种新算法 Secure-BARBAR，它在面对弱攻击者时以高概率可证明地实现 $O(\min\{C,T/\sqrt{B} \})$ 后悔，其中 $C$ 为攻击者的总污染量；若 $C$ 较大，这打破了非验证设定下已知的 $\Omega(C)$ 下界。