协作式多智能体强化学习中关系状态抽象的研究
人工智能
2025-04-23 v1 机器学习
多智能体系统
摘要
本文探讨了关系状态抽象对协作式多智能体强化学习（MARL）中样本效率与性能的影响。所提出的抽象基于不允许智能体间直接通信的环境中的空间关系，利用了真实世界多智能体场景中空间推理的普遍性。我们引入了 MARC（Multi-Agent Relational Critic），这是一种简单而有效的评论家架构，它通过将状态转换为空间图并通过关系图神经网络进行处理，从而融入了空间关系归纳偏置。我们在六个协作任务中评估了 MARC 的性能，其中包括一个具有异构智能体的新环境。我们进行了全面的实证分析，将 MARC 与最先进的 MARL 基线进行了比较，证明了其在样本效率和渐近性能上的提升，以及其泛化潜力。我们的研究结果表明，将空间关系归纳偏置作为抽象进行最小限度的整合，即可在不需复杂设计或特定任务工程的情况下带来实质性收益。这项工作深入探讨了关系状态抽象在解决 MARL 关键挑战（即样本效率）方面的潜力，为在空间复杂环境中开发更高效的算法提供了有前景的方向。
关键词
引用
@article{arxiv.2412.15388,
title = {Investigating Relational State Abstraction in Collaborative MARL},
author = {Sharlin Utke and Jeremie Houssineau and Giovanni Montana},
journal= {arXiv preprint arXiv:2412.15388},
year = {2025}
}