OmniHD-Scenes：面向自动驾驶的下一代多模态数据集

深度学习的快速发展加剧了对自动驾驶算法所需数据的需求。高质量的数据集对于开发有效的数据驱动型自动驾驶解决方案至关重要。下一代自动驾驶数据集必须具备多模态特征，融合来自先进传感器的数据，这些传感器具有广泛的数据覆盖范围、详细的标注以及多样化的场景表现。为此，我们提出了 OmniHD-Scenes，一个大规模多模态数据集，提供全方位高清数据。OmniHD-Scenes 数据集将来自 128 线激光雷达、6 台摄像机和 6 台 4D 成像雷达系统的数据相结合，以实现对环境的全方位感知。该数据集包含 1501 个片段，每个片段约 30 秒，总计超过 45 万个同步帧和超过 585 万个同步传感器数据点。我们还提出了一种新颖的 4D 标注管道。至今，我们已为 200 个片段标注了超过 51 万个精确的 3D 边界框。这些片段还包括静态场景元素的语义分割标注。此外，我们引入了一种新颖的自动化管道，用于生成稠密占据ground truth，有效地利用了来自非关键帧的信息。除数据集外，我们建立了针对 3D 检测和语义占据预测的全面评估指标、基准模型和基准。这些基准利用围视摄像机和 4D 成像雷达来探索面向自动驾驶应用的成本效益传感器解决方案。大量实验表明，我们的低成本传感器配置有效且在恶劣条件下也表现稳健。数据将在 https://www.2077ai.com/OmniHD-Scenes 发布。