ReRoGCRL：目标条件强化学习中基于表示的鲁棒性
机器学习
2023-12-21 v3 人工智能
摘要
尽管目标条件强化学习 (GCRL) 已受到广泛关注，但其算法对抗对抗性扰动的鲁棒性仍未被探索。针对传统强化学习设计的攻击和鲁棒表示训练方法在应用于 GCRL 时效果减弱。为应对这一挑战，我们首先提出半对比表示攻击 (Semi-Contrastive Representation attack)，这是一种受对抗对比攻击启发的新方法。与强化学习中现有的攻击不同，它仅需来自策略函数的信息，并且可以在部署期间无缝实现。然后，为了缓解现有 GCRL 算法的脆弱性，我们引入对抗表示策略，将半对比对抗增强与敏感性感知正则化器相结合，以提高底层强化学习智能体对各种类型扰动的对抗鲁棒性。大量实验验证了我们的攻击和防御方法在多个最先进的 GCRL 算法上的优越性能。我们的工具 ReRoGCRL 可在 https://github.com/TrustAI/ReRoGCRL 获取。
引用
@article{arxiv.2312.07392,
title = {ReRoGCRL: Representation-based Robustness in Goal-Conditioned Reinforcement Learning},
author = {Xiangyu Yin and Sihao Wu and Jiaxu Liu and Meng Fang and Xingyu Zhao and Xiaowei Huang and Wenjie Ruan},
journal= {arXiv preprint arXiv:2312.07392},
year = {2023}
}
备注
This paper has been accepted in AAAI24 (https://aaai.org/aaai-conference/)