无需攻击的高效对抗训练：最坏情形感知的鲁棒强化学习
机器学习
2022-10-13 v1 人工智能
密码学与安全
摘要
近期研究表明，训练良好的深度强化学习（RL）策略对输入观测上的对抗扰动尤其脆弱。因此，训练对有限预算内任意攻击都具有鲁棒性的RL智能体至关重要。深度RL中现有的鲁棒训练方法要么将相关步骤分开处理，忽略了长期奖励的鲁棒性，要么将智能体与基于RL的攻击者一同训练，使训练过程的计算负担与样本复杂度加倍。本工作中，我们提出了一种强大且高效的RL鲁棒训练框架，称为最坏情形感知鲁棒RL（WocaR-RL），它直接在有限l_p攻击下估计并优化策略的最坏情形奖励，而无需额外样本来学习攻击者。在多个环境中的实验表明，WocaR-RL在各种强攻击下达到了最先进的性能，并且比先前最先进的鲁棒训练方法获得了显著更高的训练效率。本工作的代码可在 https://github.com/umd-huang-lab/WocaR-RL 获取。
引用
@article{arxiv.2210.05927,
title = {Efficient Adversarial Training without Attacking: Worst-Case-Aware Robust Reinforcement Learning},
author = {Yongyuan Liang and Yanchao Sun and Ruijie Zheng and Furong Huang},
journal= {arXiv preprint arXiv:2210.05927},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)