明处藏身：多智能体强化学习中利用差分隐私噪声的规避弹性局部投毒攻击
机器学习
2023-07-14 v2 密码学与安全
多智能体系统
摘要
近来，差分隐私（DP）被引入协作式多智能体强化学习（CMARL）中，以在知识共享期间保护智能体隐私免受对抗性推断。然而，我们认为 DP 机制引入的噪声可能无意中引发一种新颖的投毒威胁，特别是在 CMARL 中的私有知识共享场景下，而这在文献中尚未被探索。为弥补这一不足，我们提出一种自适应的、利用隐私且规避弹性的局部投毒攻击（PeLPA），其利用固有的 DP 噪声规避异常检测系统并阻碍 CMARL 模型的最优收敛。我们在多种环境中严格评估所提出的 PeLPA 攻击，涵盖非对抗与多对抗情境。我们的发现表明，在中型规模环境中，攻击者比例分别为 20% 和 40% 的 PeLPA 攻击可使到达目标的平均步数分别增加 50.69% 和 64.41%。此外，在类似条件下，PeLPA 可使最优奖励获取的计算时间分别增加 1.4 倍和 1.6 倍，并使攻击者比例为 20% 和 40% 时的收敛速度分别放慢 1.18 倍和 1.38 倍。
引用
@article{arxiv.2307.00268,
title = {Hiding in Plain Sight: Differential Privacy Noise Exploitation for Evasion-resilient Localized Poisoning Attacks in Multiagent Reinforcement Learning},
author = {Md Tamjid Hossain and Hung La},
journal= {arXiv preprint arXiv:2307.00268},
year = {2023}
}
备注
6 pages, 4 figures, Published in the proceeding of the ICMLC 2023, 9-11 July 2023, The University of Adelaide, Adelaide, Australia