群体智能体强化学习
机器学习
2023-10-03 v5
摘要
如果多个地理上分布的智能体合作执行各自独立的强化学习(RL)任务，可以极大地有益于每个智能体的RL过程。与多智能体强化学习(MARL)不同，在MARL中，多个智能体处于一个共同环境中，并应学习合作或竞争，而在这种情况下，每个智能体都有其独立的环境，仅通过通信与他人共享知识，没有任何作为学习结果的合作或竞争行为。事实上，这种场景在现实生活中广泛存在，其概念可用于许多应用，但尚未得到充分理解和良好形式化。作为首次尝试，我们提出了用于RL的群体智能体系统，作为这种场景的一种形式化表述，并且是相对于单智能体和多智能体系统的第三种RL系统类型。然后，我们提出了一种为群体智能体强化学习(GARL)设计的分布式RL框架，称为DDAL(去中心化分布式异步学习)。我们通过实验表明，DDAL实现了理想的性能，训练非常稳定，并且具有良好的可扩展性。
引用
@article{arxiv.2202.05135,
title = {Group-Agent Reinforcement Learning},
author = {Kaiyue Wu and Xiao-Jun Zeng},
journal= {arXiv preprint arXiv:2202.05135},
year = {2023}
}