多智能体深度强化学习的协同探索
人工智能
2021-07-27 v1
摘要
探索对于深度强化学习取得良好结果至关重要，并已引起广泛关注。然而，现有的多智能体深度强化学习算法仍主要使用基于噪声的技术。最近，已有考虑多个智能体间合作的探索方法被开发出来。但是，现有方法面临一个共同挑战：智能体难以识别值得探索的状态，并且几乎无法协调探索努力以朝向这些状态。为解决这一不足，本文提出协同多智能体探索（CMAE）：智能体在探索时共享一个共同目标。该目标通过一种基于归一化熵的技术从多个投影状态空间中选出。然后，训练智能体以协调的方式达到此目标。我们证明，CMAE 在各种任务上一致地优于基线方法，包括多粒子环境（MPE）的稀疏奖励版本和星际争霸多智能体挑战（SMAC）。
引用
@article{arxiv.2107.11444,
title = {Cooperative Exploration for Multi-Agent Deep Reinforcement Learning},
author = {Iou-Jen Liu and Unnat Jain and Raymond A. Yeh and Alexander G. Schwing},
journal= {arXiv preprint arXiv:2107.11444},
year = {2021}
}
备注
ICML 2021; Project Page: https://ioujenliu.github.io/CMAE/