基于自适应辅助多智能体对抗生成的通抗通信多智能体学习
机器学习
2023-05-10 v1
摘要
通信可促进协作多智能体强化学习（MARL）中的协调。当前现有工作主要关注提升智能体通信效率，忽视了真实世界通信更具挑战性，可能存在噪声或潜在攻击者。因此基于通信策略的鲁棒性成为一个亟需深入探索的新兴严峻问题。本文假设以辅助对抗训练的自我系统可应对此局限，并提出一种用于鲁棒通信的多智能体辅助对抗生成自适应方法，称为 MA3C，以获得鲁棒的基于通信策略。具体而言，我们引入一种新颖消息攻击方法，将辅助攻击者的学习建模为共享目标下最小化自我系统协调能力的协作问题，由此每个信息通道可能遭受不同消息攻击。此外，由于朴素对抗训练可能妨碍自我系统泛化能力，我们设计了基于进化学习的攻击者种群生成方法。最终，自我系统与攻击者种群配对，并针对持续进化的攻击者交替训练以提升其鲁棒性，意味着自我系统与攻击者均可适应。在多个基准上的大量实验表明，我们提出的 MA3C 提供了优于或其他基线可比的鲁棒性与泛化能力。
引用
@article{arxiv.2305.05116,
title = {Communication-Robust Multi-Agent Learning by Adaptable Auxiliary Multi-Agent Adversary Generation},
author = {Lei Yuan and Feng Chen and Zhongzhang Zhang and Yang Yu},
journal= {arXiv preprint arXiv:2305.05116},
year = {2023}
}