nuScenes：一个用于自动驾驶的多模态数据集

鲁棒的物体检测与跟踪对自动驾驶技术的部署至关重要。基于图像的基准数据集推动了计算机视觉任务的发展，例如环境中智能体的物体检测、跟踪与分割。然而，大多数自动驾驶车辆搭载相机与测距传感器（如激光雷达和雷达）的组合。随着基于机器学习的检测与跟踪方法日益普及，需要在包含测距传感器数据与图像的数据集上训练和评估此类方法。本工作中我们提出 nuTonomy scenes (nuScenes)，这是首个搭载完整自动驾驶车辆传感器套件的数据集：6 个相机、5 个雷达和 1 个激光雷达，均具备完整 360 度视场。nuScenes 包含 1000 个场景，每个时长 20 秒，并以 3D 边界框对 23 个类别和 8 种属性进行了完整标注。其标注量为开创性的 KITTI 数据集的 7 倍，图像量为 100 倍。我们定义了新颖的 3D 检测与跟踪指标。我们还提供了细致的数据集分析以及基于激光雷达和图像的检测与跟踪基线。数据、开发工具包及更多信息可在线获取。