离线多智能体强化学习中的奖励投毒攻击
机器学习
2023-03-09 v4 人工智能
密码学与安全
计算机科学与博弈论
摘要
在离线多智能体强化学习（MARL）中，智能体从给定数据集中估计策略。我们研究此设定下的奖励投毒攻击，其中外部攻击者在智能体看到数据集之前修改其中的奖励。攻击者希望将每个智能体引导至恶意目标策略，同时最小化奖励修改的 L^p 范数。与针对单智能体 RL 的攻击不同，我们表明攻击者可将目标策略安装为马尔可夫完美占优策略均衡（MPDSE），理性智能体保证会遵循该均衡。这种攻击比单独的单智能体攻击成本低得多。我们展示了该攻击在各种 MARL 智能体（包括不确定性感知学习者）上均有效，并给出了高效求解攻击问题的线性规划。我们还研究了数据集结构与最小攻击代价之间的关系。我们的工作为研究离线 MARL 中的防御铺平了道路。
引用
@article{arxiv.2206.01888,
title = {Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning},
author = {Young Wu and Jeremy McMahan and Xiaojin Zhu and Qiaomin Xie},
journal= {arXiv preprint arXiv:2206.01888},
year = {2023}
}