SigmaRL：面向运动规划的高效样本与泛化多智能体强化学习框架
机器人学
2025-04-11 v2 机器学习
多智能体系统
系统与控制
系统与控制
摘要
本文提出一个名为 SigmaRL 的开源去中心化框架，旨在提升面向互联与自动驾驶车辆运动规划的多智能体强化学习（RL）的样本效率与泛化能力。大多数 RL 智能体泛化能力有限，往往仅聚焦于特定场景，且通常在训练时所见到的相似甚至相同场景中进行评估。针对这些挑战，已有研究提出了包括经验回放和正则化在内的多种方法。然而，RL 中的观测设计如何影响样本效率与泛化仍是一个未被充分探索的领域。本文通过提出五种设计信息密集观测的策略来解决这一空白，这些策略聚焦于适用于大多数交通场景的通用特征。我们在交叉口上训练 RL 智能体，并通过在完全未见过的交通场景（包括新交叉口、匝道和环形交叉路口）上的数值实验评估其泛化能力。引入这些信息密集的观测将训练时间缩短至单台 CPU 上一小时以内，评估结果表明我们的 RL 智能体能够有效实现零样本泛化。代码地址：github.com/bassamlab/SigmaRL
引用
@article{arxiv.2408.07644,
title = {SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning},
author = {Jianye Xu and Pan Hu and Bassam Alrifaee},
journal= {arXiv preprint arXiv:2408.07644},
year = {2025}
}
备注
Accepted for presentation at the IEEE International Conference on Intelligent Transportation Systems (ITSC) 2024