学习独立 RL 代理在多智能体环境中交互模式的涌现
多智能体系统
2024-10-04 v1 机器学习
摘要
许多现实世界的问题，如控制 Swarm of drones 和城市交通，天然地适合建模为多智能体强化学习 (RL) 问题。然而，现有的多智能体 RL 方法通常因在智能体之间引入通信而面临可扩展性挑战。因此，一个关键挑战在于将单智能体 RL 中的深度学习成功应用于多智能体环境。针对这一挑战，我们提出了一种根本性地重新构想多智能体环境的方法。与常规方法分别为每个智能体构建独立网络不同，我们的方法——底向网络 (BUN)，采用了独特的视角。BUN 将多智能体集合视为一个统一实体，同时采用专门的权重初始化策略来促进独立学习。此外，我们利用梯度信息动态地在智能体之间建立连接，使其在必要时进行协调，同时保持这些连接有限且稀疏，以有效管理计算预算。我们进行了广泛的实证评估，涵盖了包括合作导航和交通控制在内的各种合作多智能体场景，始终证明 BUN 在计算成本大幅降低的情况下优于基准方法。
引用
@article{arxiv.2410.02516,
title = {Learning Emergence of Interaction Patterns across Independent RL Agents in Multi-Agent Environments},
author = {Vasanth Reddy Baddam and Suat Gumussoy and Almuatazbellah Boker and Hoda Eldardiry},
journal= {arXiv preprint arXiv:2410.02516},
year = {2024}
}
备注
13 pages, 24 figures