基于查询的针对性动作空间对抗策略攻击深度强化学习智能体
机器学习
2021-02-23 v2 密码学与安全
摘要
计算资源的进步导致信息物理系统（CPS）日益复杂。随着 CPS 复杂性的演进，焦点已从传统控制方法转向基于深度强化学习（DRL）的方法来控制这些系统。这是由于难以获得复杂 CPS 的精确模型以用于传统控制。然而，要在生产环境中安全部署 DRL，必须从各个角度审视基于 DRL 的控制器（策略）面对恶意攻击的弱点。在本工作中，我们研究动作空间域中的针对性攻击，在 CPS 文献中亦称为驱动攻击，其扰动控制器的输出。我们表明，以对抗目标生成最优扰动的基于查询的黑盒攻击模型可被表述为另一个强化学习问题。因此，此类对抗策略可使用常规 DRL 方法进行训练。实验结果表明，仅观察标称策略输出的对抗策略比观察标称策略输入与输出的对抗策略产生更强的攻击。进一步分析揭示，输出频繁处于动作空间边界的标称策略天然对对抗策略更具鲁棒性。最后，我们提出使用带迁移学习的对抗训练将鲁棒行为注入标称策略，这将成功针对性攻击的比率降低了 50%。
引用
@article{arxiv.2011.07114,
title = {Query-based Targeted Action-Space Adversarial Policies on Deep Reinforcement Learning Agents},
author = {Xian Yeow Lee and Yasaman Esfandiari and Kai Liang Tan and Soumik Sarkar},
journal= {arXiv preprint arXiv:2011.07114},
year = {2021}
}