谁是最强敌人？面向深度强化学习中最优且高效的规避攻击
机器学习
2023-03-21 v5 密码学与安全
摘要
在最强/最优对抗扰动（于某些约束内）作用于状态观测下评估强化学习（RL）智能体的最坏情况性能，对理解 RL 智能体的鲁棒性至关重要。然而，寻找最优敌手具有挑战性，既在于我们能否找到最优攻击，也在于我们能多高效地找到它。现有的对抗 RL 工作或使用基于启发式的方法而可能找不到最强敌手，或将智能体作为环境一部分直接训练基于 RL 的敌手，这能找到最优敌手但在大状态空间中可能难以处理。本文引入一种新颖攻击方法，通过名为“actor”的所设计函数与名为“director”的基于 RL 的学习器之间的协作来寻找最优攻击。actor 针对给定的策略扰动方向精心构造状态扰动，director 学习提出最佳策略扰动方向。我们提出的算法 PA-AD 在理论上是最优的，且在大状态空间环境中比先前的基于 RL 的工作显著更高效。实证结果显示，我们提出的 PA-AD 在各种 Atari 和 MuJoCo 环境中普遍优于最先进的攻击方法。通过将 PA-AD 应用于对抗训练，我们在多个任务中于强敌手下实现了最先进的经验鲁棒性。代码库发布于 https://github.com/umd-huang-lab/paad_adv_rl。
引用
@article{arxiv.2106.05087,
title = {Who Is the Strongest Enemy? Towards Optimal and Efficient Evasion Attacks in Deep RL},
author = {Yanchao Sun and Ruijie Zheng and Yongyuan Liang and Furong Huang},
journal= {arXiv preprint arXiv:2106.05087},
year = {2023}
}
备注
In the 10th International Conference on Learning Representations (ICLR 2022)