感知、想象、行动:多模态感知改进基于模型的强化学习用于头对头自主赛车
机器人学
2023-05-09 v1 人工智能
机器学习
摘要
基于模型的强化学习(MBRL)技术近期在使用高维观测的真实自主赛车中取得了有前景的结果。MBRL智能体(如Dreamer)通过构建世界模型并借助潜在想象规划动作来解决长视野任务。该方法显式学习系统动力学模型,并用其学习多时间步连续控制的最优策略。因此,若世界模型不准确,MBRL智能体可能收敛到次优策略。为改进自主赛车的状态估计,本文提出一种自监督传感器融合技术,融合来自F1TENTH Gym的以自我为中心的LiDAR与RGB相机观测。我们在未见赛道及面对动态障碍物时对所提MBRL智能体进行了零样本经验评估。本文表明,多模态感知在世界模型准确性提升的同时无需额外训练数据。所得多模态Dreamer智能体在零样本头对头自主赛车中安全避免碰撞,并较其他被测基线赢得最多比赛。
引用
@article{arxiv.2305.04750,
title = {Sense, Imagine, Act: Multimodal Perception Improves Model-Based Reinforcement Learning for Head-to-Head Autonomous Racing},
author = {Elena Shrestha and Chetan Reddy and Hanxi Wan and Yulun Zhuang and Ram Vasudevan},
journal= {arXiv preprint arXiv:2305.04750},
year = {2023}
}