一种用于深度多智能体强化学习的协同进化方法
神经与进化计算
2021-04-14 v2 机器学习
多智能体系统
摘要
传统上，深度人工神经网络（DNN）通过梯度下降进行训练。近期研究表明，深度神经进化（DNE）也能够演化具有数百万参数的DNN，并被证明在强化学习（RL）领域尤为有用。这主要归因于相较于基于MDP的传统RL方法，其具有出色的可扩展性与简洁性。迄今为止，DNE仅应用于复杂的单智能体问题。由于进化方法是多智能体问题的自然选择，问题随之产生：DNE是否也能应用于复杂的多智能体环境。本文中，我们描述并验证了一种基于协同进化的新方法。为验证该方法，我们在一系列多智能体Atari游戏上对所提出的两种深度协同进化算法进行基准测试，并将结果与Ape-X DQN进行比较。结果表明，这些深度协同进化算法（1）能够被成功训练以游玩多种游戏，（2）在其中部分游戏中优于Ape-X DQN，因此（3）表明协同进化可作为解决复杂多智能体决策问题的一种可行途径。
引用
@article{arxiv.2104.05610,
title = {A coevolutionary approach to deep multi-agent reinforcement learning},
author = {Daan Klijn and A. E. Eiben},
journal= {arXiv preprint arXiv:2104.05610},
year = {2021}
}