未知对抗者存在下的在线鲁棒策略学习
机器学习
2018-07-18 v1 机器学习
摘要
深度强化学习（DRL）被用于信息物理系统的前景日益增长，这引发了人们对自主智能体安全性与鲁棒性的担忧。近期关于生成对抗攻击的研究表明，恶意行为者从计算上可行地欺骗 DRL 策略使其表现次优。尽管某些具有特定攻击模型的对抗攻击已得到处理，多数研究仅关注数据空间中的离线优化（例如样本拟合、蒸馏）。本文引入一种元学习优势层级（MLAH）框架，该框架与攻击模型无关且更适用于强化学习，通过在决策空间（而非数据空间）处理攻击并直接缓解对抗者引入的学习偏差。在 MLAH 中，我们以在线方式学习独立子策略（标称与对抗），由监督主智能体借助子策略的优势函数检测对抗者存在来引导。我们证明，即便在重度状态信息攻击下，所提算法相比最先进策略学习方法实现了显著更低的偏差策略学习。我们给出了算法分析以及使用流行 OpenAI Gym 环境的仿真结果。
引用
@article{arxiv.1807.06064,
title = {Online Robust Policy Learning in the Presence of Unknown Adversaries},
author = {Aaron J. Havens and Zhanhong Jiang and Soumik Sarkar},
journal= {arXiv preprint arXiv:1807.06064},
year = {2018}
}
备注
18 pages, 9 figures