深度强化学习智能体的时空约束动作空间攻击
机器学习
2019-11-20 v2 人工智能
密码学与安全
机器学习
摘要
深度强化学习（DRL）算法在现实世界应用（如部署于信息物理系统（CPS）中的应用）中对对抗攻击的鲁棒性日益受到关注。大量研究探讨了针对RL智能体状态空间的攻击机制。然而，对RL智能体动作空间（AS）（对应于工程系统中的执行器）的攻击同样恶劣；此类攻击在机器学习文献中研究相对较少。在本工作中，我们首先将该问题构建为一个优化问题，即在以解耦约束作为攻击预算的条件下最小化RL智能体的累积奖励。我们提出了一种白盒短视动作空间（MAS）攻击算法，将攻击分布于动作空间各维度。接下来，我们以相同的目标函数重新表述上述优化问题，但施加攻击预算的时间耦合约束以考虑智能体的近似动力学。这导出了白盒前瞻动作空间（LAS）攻击算法，将攻击分布于动作和时间维度。我们的结果表明，在资源用量相同的情况下，LAS攻击比MAS攻击显著更恶化智能体性能。这揭示了在资源有限时， adversary可利用智能体动力学恶意构造攻击致其失效的可能性。此外，我们利用这些攻击策略作为潜在工具，以洞察DRL智能体的潜在脆弱性。
引用
@article{arxiv.1909.02583,
title = {Spatiotemporally Constrained Action Space Attacks on Deep Reinforcement Learning Agents},
author = {Xian Yeow Lee and Sambit Ghadai and Kai Liang Tan and Chinmay Hegde and Soumik Sarkar},
journal= {arXiv preprint arXiv:1909.02583},
year = {2019}
}
备注
Version 2 with supplementary materials