基于 AutoDRIVE 生态的多智能体深度强化学习用于自动驾驶车辆的协作与对抗行为
机器人学
2023-10-03 v2 人工智能
机器学习
多智能体系统
摘要
本工作提出了一个模块化且可并行的多智能体深度强化学习框架，用于赋予自动驾驶车辆协作与对抗行为。我们引入 AutoDRIVE Ecosystem 作为赋能工具，以开发 Nigel 和 F1TENTH 这两款具有独特品质与能力的缩比自动驾驶车辆平台的物理精确且图像逼真的数字孪生，并利用该生态系统训练与部署多智能体强化学习策略。我们首先研究交叉口通行问题，使用一组协作车辆（Nigel）在单智能体与多智能体学习设置下通过共享策略方法相互共享有限状态信息。随后研究对抗性头对头自动驾驶竞速问题，使用另一组车辆（F1TENTH）在多智能体学习设置下通过独立策略方法。在两组成实验中均采用去中心化学习架构，由于智能体相互独立且表现出异步运动行为，该架构允许在随机环境中稳健地训练与测试。通过为智能体提供稀疏观测空间并要求其采样隐式满足所施加的运动动力学与安全约束的控制指令，问题进一步加剧。两组问题的实验结果均从训练与部署阶段的量化指标与定性说明两方面给出。
引用
@article{arxiv.2309.10007,
title = {Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive Autonomous Vehicles using AutoDRIVE Ecosystem},
author = {Tanmay Vilas Samak and Chinmay Vilas Samak and Venkat Krovi},
journal= {arXiv preprint arXiv:2309.10007},
year = {2023}
}
备注
Accepted as Multi-Agent Dynamic Games (MAD-Games) Workshop Paper at IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2023