用于自动驾驶的 ApolloScape 开放数据集及其应用

自动驾驶在过去几年中引起了极大的关注。自动驾驶汽车的关键技术包括解决 3D 地图构建、自定位、行驶道路解析和目标理解等任务，使车辆能够进行推理和行动。然而，用于训练和系统评估的大规模数据集仍然是开发鲁棒感知模型的瓶颈。在本文中，我们介绍了 ApolloScape 数据集 [1] 及其在自动驾驶中的应用。与来自真实场景的现有公开数据集（例如 KITTI [2] 或 Cityscapes [3]）相比，ApolloScape 包含更大规模且更丰富的标注，包括每个场地的整体语义密集点云、立体视觉、逐像素语义标注、车道线标注、实例分割、3D 车辆实例，以及来自多个场地、城市和时段的各种驾驶视频中每一帧的高精度定位。对于每项任务，它包含的图像数量至少是 SOTA 数据集的 15 倍。为了标注这样一个完整的数据集，我们开发了针对每项任务的专用工具和算法以加速标注过程，例如 3D-2D 分割标注工具、视频主动标注等。基于 ApolloScape，我们能够开发联合考虑多任务学习与推理的算法。在本文中，我们提供了一种融合摄像头视频、消费级运动传感器（GPS/IMU）和 3D 语义地图的传感器融合方案，以实现自动驾驶鲁棒的自定位和语义分割。我们表明，在实践中，传感器融合和多任务联合学习有助于实现更鲁棒、更准确的系统。我们期望我们的数据集和提出的相关算法能够支持并激励研究人员在计算机视觉领域进一步发展多传感器融合与多任务学习。