SUB-PLAY：针对部分可观测多智能体强化学习系统的对抗策略
机器学习
2024-06-27 v3 人工智能
密码学与安全
摘要
多智能体强化学习（MARL）的最新进展开辟了广阔的应用前景，例如无人机群控制、机械臂协同操作和多目标包围。然而，MARL部署过程中的潜在安全威胁需要更多关注和彻底研究。最近的研究表明，攻击者可以快速利用受害者的漏洞，生成导致特定任务失败的对抗策略。例如，将超人类水平的围棋AI的胜率降低到约20%。现有研究主要集中在两人竞争环境，假设攻击者拥有完整的全局状态观测。在本研究中，我们首次揭示了攻击者即使在多智能体竞争环境中仅能部分观测受害者的情况下，也能生成对抗策略的能力。具体来说，我们提出了一种新颖的黑盒攻击（SUB-PLAY），它引入了构建多个子博弈的概念以减轻部分可观测性的影响，并建议在子策略之间共享转换以提高攻击者的利用能力。大量评估证明了SUB-PLAY在三种典型部分可观测性限制下的有效性。可视化结果表明，对抗策略会诱导受害者策略网络的显著不同激活。此外，我们评估了三种潜在的防御措施，旨在探索减轻对抗策略带来的安全威胁的方法，为在竞争环境中部署MARL提供了建设性建议。
引用
@article{arxiv.2402.03741,
title = {SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent Reinforcement Learning Systems},
author = {Oubo Ma and Yuwen Pu and Linkang Du and Yang Dai and Ruo Wang and Xiaolei Liu and Yingcai Wu and Shouling Ji},
journal= {arXiv preprint arXiv:2402.03741},
year = {2024}
}
备注
To appear in the ACM Conference on Computer and Communications Security (CCS'24), October 14-18, 2024, Salt Lake City, UT, USA