SelfD：从互联网中学习大规模驾驶策略的自学习框架
计算机视觉与模式识别
2022-04-22 v1 人工智能
机器人学
摘要
有效利用互联网上免费提供的大量以自我为中心的导航数据，可推动通用智能系统的发展，即稳健地跨视角、平台、环境条件、场景与地理位置进行扩展。然而，难以直接将如此大量未标注且高度多样化的数据用于复杂的 3D 推理与规划任务。因此，研究者主要聚焦于将其用于各类不考虑最终导航目标的辅助像素级与图像级计算机视觉任务。在本工作中，我们引入 SelfD，一种通过利用大量在线单目图像来学习可扩展驾驶行为的框架。我们的核心思想是在从未标注数据学习模仿智能体时采用迭代半监督训练。为处理无约束的视点、场景与相机参数，我们训练一个基于图像的模型，直接学习在鸟瞰图（BEV）空间中进行规划。接下来，我们利用未标注数据通过自训练增强初始训练模型的决策知识与鲁棒性。特别地，我们提出一个伪标注步骤，通过“假设性”基于规划的数据增强，使高度多样化的演示数据得到充分利用。我们采用公开可用 YouTube 视频的大规模数据集来训练 SelfD，并全面分析其在具有挑战性的导航场景中的泛化收益。无需任何额外数据采集或标注工作，SelfD 在 nuScenes、Argoverse、Waymo 与 CARLA 的驾驶性能评估中展现出持续改进（最高达 24%）。
引用
@article{arxiv.2204.10320,
title = {SelfD: Self-Learning Large-Scale Driving Policies From the Web},
author = {Jimuyang Zhang and Ruizhao Zhu and Eshed Ohn-Bar},
journal= {arXiv preprint arXiv:2204.10320},
year = {2022}
}
备注
Accepted by CVPR2022