上下文感知的稀疏深度协调图
机器学习
2022-06-15 v3
摘要
学习适应于智能体间协调动态的稀疏协调图是协作多智能体学习中的一个长期问题。本文研究该问题并提出一种利用收益函数方差来构建上下文感知稀疏协调拓扑的新方法。我们从理论上巩固了该方法，证明了收益函数的方差越小，在移除相应边后动作选择发生改变的可能性越低。此外，我们提出学习动作表示，以有效降低收益函数估计误差对图构建的影响。为实证评估我们的方法，我们通过收集文献中的经典协调问题、增加其难度并将其分类为不同类型，提出了多智能体协调（MACO）基准。我们在 MACO 和星际争霸 II 微操基准上进行了案例研究和实验，以展示稀疏图学习的动态特性、图稀疏度的影响以及我们方法的学习性能。（MACO 基准和代码公开于 https://github.com/TonghanWang/CASEC-MACO-benchmark。）
引用
@article{arxiv.2106.02886,
title = {Context-Aware Sparse Deep Coordination Graphs},
author = {Tonghan Wang and Liang Zeng and Weijun Dong and Qianlan Yang and Yang Yu and Chongjie Zhang},
journal= {arXiv preprint arXiv:2106.02886},
year = {2022}
}