通过仿真到分割实现仿真到现实：无需真实数据的端到端越野自动驾驶
机器学习
2022-10-27 v1 人工智能
摘要
自动驾驶非常复杂，需要复杂的3D场景理解、定位、建图和控制。我们没有显式地对这些组件进行建模和融合，而是考虑了一种基于强化学习（RL）的端到端方法。然而，在现实世界中收集探索性驾驶数据既不切实际又危险。虽然在仿真中训练并部署视觉仿真到现实技术在机器人操作中效果良好，但在受控工作空间视角之外进行部署仍然是一个挑战。在本文中，我们通过提出Sim2Seg来解决这一挑战，这是对RCAN的重新构想，旨在不使用任何真实世界数据的情况下跨越越野自动驾驶的视觉现实鸿沟。这是通过学习将随机化的仿真图像转换为仿真的分割和深度图，进而使得真实世界图像也能被转换来实现的。这使我们能够在仿真中训练端到端RL策略，并直接部署到真实世界。我们的方法可在1个GPU上48小时内训练完成，其性能可与耗费数月数千工程小时构建的经典感知与控制技术栈相媲美。我们希望这项工作能推动未来的端到端自动驾驶研究。
引用
@article{arxiv.2210.14721,
title = {Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data},
author = {John So and Amber Xie and Sunggoo Jung and Jeffrey Edlund and Rohan Thakker and Ali Agha-mohammadi and Pieter Abbeel and Stephen James},
journal= {arXiv preprint arXiv:2210.14721},
year = {2022}
}
备注
CoRL 2022 Paper