CuDA2：一种将叛徒代理引入合作多智能体系统的方法
机器学习
2024-06-26 v1 人工智能
密码学与安全
多智能体系统
摘要
合作多智能体强化学习（CMARL）策略已知对对抗性扰动十分脆弱。先前的对抗攻击工作主要关注白盒攻击，直接扰动受害者智能体的状态或动作，往往在攻击次数有限的场景中进行。然而，在现实环境中获取对受害者智能体的完全访问权限极其困难。为创建更真实的对抗攻击，我们引入一种新方法，即向 CMARL 系统中注入叛徒代理。我们将此问题建模为叛徒马尔可夫决策过程（TMDP），其中叛徒无法直接攻击受害者智能体，但可以通过碰撞影响其 formations 或 positioning。在 TMDP 中，叛徒使用与受害者智能体相同的 MARL 算法进行训练，其奖励函数设置为受害者智能体奖励的负值。尽管如此，叛徒的训练效率仍然较低，因为他们难以直接将自己的动作与受害者智能体的奖励关联起来。为解决这一问题，我们提出了一种基于好奇心驱动的对抗攻击（CuDA2）框架。CuDA2 在保持叛徒最优策略不变性的前提下，提高了对指定受害者智能体策略的攻击效率和攻击性。具体而言，我们采用预训练的随机网络蒸馏（RND）模块，其中 RND 模块生成的额外奖励鼓励叛徒探索受害者智能体未曾遇到的状态。在来自 SMAC 的各种场景中进行大量实验表明，我们的 CuDA2 框架在对抗攻击能力方面与其他基线方法相当或更优。
引用
@article{arxiv.2406.17425,
title = {CuDA2: An approach for Incorporating Traitor Agents into Cooperative Multi-Agent Systems},
author = {Zhen Chen and Yong Liao and Youpeng Zhao and Zipeng Dai and Jian Zhao},
journal= {arXiv preprint arXiv:2406.17425},
year = {2024}
}