面向仿真中训练自动驾驶感知模型的最优策略探讨

自动驾驶依赖于大量需高精度标注的真实世界数据。替代方案试图利用驾驶仿真器，其可生成大量具有丰富内容变化的标注数据。然而，合成数据与真实数据之间的领域鸿沟依然存在，由此引出如下重要问题：利用自动驾驶仿真器进行感知任务的最佳方式是什么？本工作基于近期领域自适应理论的进展，并从该视角提出缩小现实差距的方法。我们主要关注仅使用合成域中标签的方式。我们的方法引入了学习神经不变表示的原则性方法，以及关于如何从仿真器采样数据的理论启发性视角。我们的方法易于实际实现，因其与网络架构和仿真器选择无关。我们使用开源仿真器（CARLA）在鸟瞰视角车辆分割任务上以多传感器数据（相机、激光雷达）展示了我们的方法，并在真实世界数据集（nuScenes）上评估了整个框架。最后，我们展示了当使用驾驶仿真器训练时，哪些类型的变异（例如天气条件、资产数量、地图设计和颜色多样性）对感知网络重要，以及哪些可通过我们的领域自适应技术得到补偿。