将数据置于离线多智能体强化学习的中心
机器学习
2024-09-19 v1 人工智能
多智能体系统
摘要
离线多智能体强化学习 (MARL) 是一个令人振奋的研究方向，使用静态数据集为多智能体系统寻找最优控制策略。尽管该领域本质上是数据驱动的，但迄今为止的努力在实现最新成果的过程中仍忽视了数据。我们首先通过调查文献来佐证这一论点，展示大多数研究在生成数据集时缺乏一致的方法，并对这些数据集的特征提供稀疏信息。我们随后通过具体案例说明忽视数据本质的危害，突出算法性能与所用数据集紧密相关的现象，使得该领域需要一种实验基础。为此，我们采取了一步跨越的措施，旨在提高数据在离线 MARL 中的使用率和数据意识，主要贡献包括：(1) 为生成新数据集提供清晰指南；(2) 标准化来自 80 多个现有数据集的存储格式和易用 API，托管于公开可用仓库；(3) 构建一套分析工具，帮助更好地理解这些数据集，促进进一步发展。
引用
@article{arxiv.2409.12001,
title = {Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning},
author = {Claude Formanek and Louise Beyers and Callum Rhys Tilbury and Jonathan P. Shock and Arnu Pretorius},
journal= {arXiv preprint arXiv:2409.12001},
year = {2024}
}