经验增强：提升并加速离策略多智能体强化学习
机器学习
2020-05-21 v2 人工智能
多智能体系统
摘要
高维状态动作空间的探索是强化学习（RL）中最大的挑战之一，尤其在多智能体领域。我们提出了一种称为经验增强的新技术，它基于对环境快速、充分且公平的探索，实现时间高效且得到提升的学习。该方法可与任意离策略多智能体强化学习（MARL）算法结合，并适用于同质或异质环境。我们将该方法与 MADDPG 结合，并在两个同质和一个异质环境中验证其性能。在表现最佳的情景中，带经验增强的 MADDPG 以 1/4 的真实时间达到原始 MADDPG 的收敛奖励，且其收敛以显著优势超越原模型。我们的消融研究表明，经验增强是加速训练过程并提升收敛的关键要素。
引用
@article{arxiv.2005.09453,
title = {Experience Augmentation: Boosting and Accelerating Off-Policy Multi-Agent Reinforcement Learning},
author = {Zhenhui Ye and Yining Chen and Guanghua Song and Bowei Yang and Shen Fan},
journal= {arXiv preprint arXiv:2005.09453},
year = {2020}
}
备注
10 pages, 4 figures, 4 tables