SAJA：面向多智能体深度强化学习的状态-动作联合攻击框架
人工智能
2025-10-16 v1
摘要
多智能体深度强化学习（MADRL）在自主驾驶和战略游戏等合作与竞争任务中展现出巨大的潜力。然而，MADRL训练的模型对状态和动作上的对抗性扰动极其脆弱。因此，从攻击视角调查MADRL模型的鲁棒性至关重要。现有研究要么只关注状态攻击，要么只关注动作攻击，未能有效联合两者。仅简单地组合状态和动作扰动（如随机扰动）并不能发挥其潜在的协同效应。本文提出一种具有良好协同效应的状态-动作联合攻击（SAJA）框架。SAJA包含两个重要阶段：（1）在状态攻击阶段，采用多步梯度上升方法同时利用actor网络和critic网络来计算对抗性状态；（2）在动作攻击阶段，基于扰动后的状态，使用第二阶梯度上升来 crafting 最终对抗性动作。此外，我们在损失函数中加入一个启发式正则化项，用于衡量扰动后动作与原始干净动作之间的距离，从而增强critic引导的有效性。我们在多智能体粒子环境（MPE）中评估了SAJA，结果表明：（1）SAJA优于仅状态攻击或仅动作攻击且更为隐蔽；（2）现有的基于状态或动作的防御方法无法防御其攻击。
引用
@article{arxiv.2510.13262,
title = {SAJA: A State-Action Joint Attack Framework on Multi-Agent Deep Reinforcement Learning},
author = {Weiqi Guo and Guanjun Liu and Ziyuan Zhou},
journal= {arXiv preprint arXiv:2510.13262},
year = {2025}
}