针对强化学习的可证明高效黑盒动作投毒攻击
机器学习
2021-10-27 v2 人工智能
密码学与安全
最优化与控制
摘要
由于强化学习（RL）应用范围广泛，理解对抗攻击对 RL 模型的影响对于该模型的安全应用至关重要。先前关于 RL 对抗攻击的理论工作主要集中于观测投毒攻击或环境投毒攻击。本文中，我们引入一类称为动作投毒攻击的新攻击，其中攻击者可以改变智能体所选的动作信号。与现有攻击模型相比，所提动作投毒攻击模型中攻击者的能力受到更多限制，这带来了一些设计挑战。我们在白盒与黑盒两种设定下研究动作投毒攻击。我们引入一种称为 LCB-H 的自适应攻击方案，该方案在黑盒设定下适用于大多数 RL 智能体。我们证明，LCB-H 攻击能够以仅次线性的代价，迫使任何动态后悔随总步数次线性增长的高效 RL 智能体非常频繁地按照攻击者所选策略采取行动。此外，我们将 LCB-H 攻击应用于一种流行的无模型 RL 算法：UCB-H。我们表明，即使在黑盒设定下，通过仅付出对数代价，所提 LCB-H 攻击方案也能迫使 UCB-H 智能体非常频繁地按照攻击者所选策略采取行动。
引用
@article{arxiv.2110.04471,
title = {Provably Efficient Black-Box Action Poisoning Attacks Against Reinforcement Learning},
author = {Guanlin Liu and Lifeng Lai},
journal= {arXiv preprint arXiv:2110.04471},
year = {2021}
}