通过度量角色多样性诊断协作多智能体强化学习策略
多智能体系统
2022-07-13 v1 人工智能
机器学习
摘要
协作多智能体强化学习（MARL）在解决网格世界和真实场景任务方面正快速进展，其中智能体被赋予不同属性和目标，从而在整体多智能体任务中产生不同行为。在本研究中，我们量化智能体的行为差异，并通过{\bf 角色多样性}（一种度量MARL任务特征的指标）建立其与策略性能的关系。我们从基于动作、基于轨迹和基于贡献三个视角定义角色多样性，以全面度量多智能体任务。通过理论分析，我们发现MARL中的误差界可分解为三个部分，它们与角色多样性有强相关。这些分解因素会显著影响参数共享、通信机制和信用分配三个流行方向上的策略优化。主要实验平台基于{\bf 多智能体粒子环境（MPE）}和{\bf 星际争霸多智能体挑战（SMAC）。大量实验}清楚表明，角色多样性可作为多智能体协作任务特征的稳健度量，并有助于诊断策略是否适配当前多智能体系统以取得更好的策略性能。
引用
@article{arxiv.2207.05683,
title = {Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL},
author = {Siyi Hu and Chuanlong Xie and Xiaodan Liang and Xiaojun Chang},
journal= {arXiv preprint arXiv:2207.05683},
year = {2022}
}