理解情景强化学习中投毒攻击的局限

为理解对强化学习（RL）算法的安全威胁，本文研究在情景 RL 中通过投毒攻击将\emph{任意}阶最优学习算法操纵至目标策略，并考察两类自然投毒攻击（即\emph{奖励}与\emph{动作}操纵）的潜在危害。我们发现攻击效果关键取决于奖励有界或无界。在有界奖励设定下，我们表明仅操纵奖励或仅操纵动作无法保证攻击成功。然而，通过结合奖励与动作操纵， adversary 可在不知底层 MDP 的情况下，以 $\tilde{\Theta}(\sqrt{T})$ 的总攻击代价（此为阶最优）将任意阶最优学习算法操纵至遵循任意目标策略。相反，在无界奖励设定下，我们表明奖励操纵攻击足以使 adversary 以 $\tilde{O}(\sqrt{T})$ 的污染量成功操纵任意阶最优学习算法遵循任意目标策略。我们的结果揭示了关于投毒攻击能或不能实现的有用见解，并将促进更多关于鲁棒 RL 算法设计的工作。