通过数据投毒在马尔可夫博弈中伪造纳什均衡

我们刻画了针对多智能体强化学习（MARL）的离线数据投毒攻击，其中攻击者可以更改数据集以试图为双人零和马尔可夫博弈安装一个（可能是虚构的）唯一马尔可夫完美纳什均衡。我们提出唯一纳什集，即由 Q 函数指定的、以特定联合策略为唯一纳什均衡的博弈集合。唯一纳什集是投毒攻击的核心，因为当且仅当数据投毒将所有 plausible 博弈推入该集合时攻击才成功。唯一纳什集将逆强化学习中常用的奖励多面体推广到 MARL。对于零和马尔可夫博弈，逆纳什集与数据诱导的 plausible 博弈集均为 Q 函数空间中的多面体。我们给出一个线性规划以高效计算最优投毒攻击。我们的工作揭示了离线 MARL 上数据投毒攻击的结构，这是设计更鲁棒 MARL 算法前的必要一步。