Waymo 开放数据集：全景视频全景分割
计算机视觉与模式识别
2022-06-16 v1
摘要
全景图像分割是计算机视觉中查找图像中像素组并为其分配语义类别和对象实例标识符的任务。由于其在机器人和自动驾驶中的关键应用，图像分割研究已变得越来越流行。因此，研究界依赖公开可用的基准数据集来推进计算机视觉的最先进水平。然而，由于密集标注图像的高成本，适用于全景分割的公开可用真值标签十分匮乏。高标注成本也使得将现有数据集扩展到视频领域和多相机设置具有挑战性。因此，我们提出了 Waymo 开放数据集：全景视频全景分割数据集，这是一个为自动驾驶提供高质量全景分割标签的大规模数据集。我们利用公开可用的 Waymo 开放数据集，借助多样化的相机图像集生成我们的数据集。我们的标签在时间上保持一致以支持视频处理，并且在车辆上安装的多台相机之间保持一致以实现全全景场景理解。具体而言，我们为 28 个语义类别和 2860 个时间序列提供标签，这些序列由安装在自动驾驶车辆上的五台相机在三个不同地理位置捕获，总计 10 万张带标签的相机图像。据我们所知，这使得我们的数据集比提供视频全景分割标签的现有数据集大一个数量级。我们进一步提出了全景视频全景分割的新基准，并基于 DeepLab 系列模型建立了一系列强基线。我们将公开提供基准和代码。数据集地址：https://waymo.com/open。
引用
@article{arxiv.2206.07704,
title = {Waymo Open Dataset: Panoramic Video Panoptic Segmentation},
author = {Jieru Mei and Alex Zihao Zhu and Xinchen Yan and Hang Yan and Siyuan Qiao and Yukun Zhu and Liang-Chieh Chen and Henrik Kretzschmar and Dragomir Anguelov},
journal= {arXiv preprint arXiv:2206.07704},
year = {2022}
}
备注
Our dataset can be found at https://waymo.com/open