针对协作多智能体深度强化学习的时空隐蔽后门攻击
人工智能
2024-09-13 v1 密码学与安全
摘要
近期研究表明，协作多智能体深度强化学习（c-MADRL）正面临后门攻击威胁。一旦触发后门触发器被观察到，攻击者便可执行异常动作，导致系统失败或实现恶意目标。然而，现有提出的后门方法存在诸多问题，例如固定视觉触发器模式缺乏隐蔽性、后门通过额外网络训练或激活，或所有智能体均被植入后门。为此，本文提出一种针对 c-MADRL 的新型后门攻击，通过仅在单个智能体中植入后门来攻击整个多智能体团队。首先，我们引入 adversary spatiotemporal behavior patterns 作为后门触发器，而非人工注入的固定视觉模式或即时状态，并控制攻击持续时间，从而确保植入后门的隐蔽性和实用性。其次，我们通过奖励反转和单向引导在训练期间篡改被后门智能体的原始奖励函数，以确保其对整个团队的负面影响。我们在两个经典 c-MADRL 算法 VDN 和 QMIX 上进行评估，测试环境为流行的 SMAC。实验结果表明，我们的后门攻击能够实现高达 91.6% 的攻击成功率，同时保持低于 3.7% 的干净性能方差。
引用
@article{arxiv.2409.07775,
title = {A Spatiotemporal Stealthy Backdoor Attack against Cooperative Multi-Agent Deep Reinforcement Learning},
author = {Yinbo Yu and Saihao Yan and Jiajia Liu},
journal= {arXiv preprint arXiv:2409.07775},
year = {2024}
}
备注
6 pages, IEEE Globecom 2024