潜在想象促进自动驾驶赛车中的零样本迁移
机器学习
2022-03-01 v3 人工智能
神经与进化计算
机器人学
摘要
世界模型在潜在想象空间中学习行为，以提升深度强化学习(RL)算法的样本效率。尽管在标准RL基准和一些游戏中为高维观测（如像素输入）学习世界模型已变得可行，但其在真实世界机器人应用中的有效性尚未被探索。本文中，我们研究此类智能体如何泛化到真实世界自动驾驶车辆控制任务，而先进的无模型深度RL算法在此类任务中失效。具体而言，我们为配备高维LiDAR传感器的F1TENTH赛车机器人设置了一系列计时圈任务，在复杂度逐步递增的一组测试赛道上进行。在该连续控制设定下，我们表明能够进行想象中学习的基于模型智能体在性能、样本效率、任务成功完成率和泛化性方面大幅优于无模型智能体。此外，我们表明基于模型智能体的泛化能力强烈依赖于其观测模型的选择。我们提供了大量经验证据，证明在sim2real任务中具备足够长记忆视野的世界模型的有效性。
引用
@article{arxiv.2103.04909,
title = {Latent Imagination Facilitates Zero-Shot Transfer in Autonomous Racing},
author = {Axel Brunnbauer and Luigi Berducci and Andreas Brandstätter and Mathias Lechner and Ramin Hasani and Daniela Rus and Radu Grosu},
journal= {arXiv preprint arXiv:2103.04909},
year = {2022}
}
备注
This paper is accepted for presentation at the International Conference on Robotics and Automation (ICRA), 2022