MVImgNet：一个大规模多视角图像数据集
计算机视觉与模式识别
2023-03-13 v1
摘要
数据驱动是深度学习算法最具标志性的特性之一。ImageNet的诞生推动了计算机视觉中“从大规模数据学习”的显著趋势。在ImageNet上预训练以获得丰富的通用表征已被证明有益于各种2D视觉任务，并成为2D视觉中的标准。然而，由于真实世界3D数据的采集费力，迄今尚无一个作为3D视觉中ImageNet对应物的通用数据集，因此这样的数据集将如何影响3D界尚不明了。为弥补这一缺陷，我们引入MVImgNet，一个大规模多视角图像数据集，其通过人类日常生活中拍摄真实物体的视频即可极为便捷地获取。它包含来自219,188段视频的650万帧，涵盖238类物体，并附有物体掩码、相机参数和点云的丰富标注。多视角属性赋予我们的数据集3D感知信号，使其成为2D与3D视觉之间的软桥梁。我们开展了探索性研究，以探查MVImgNet在各种3D和2D视觉任务上的潜力，包括辐射场重建、多视图立体和视角一致的图像理解，其中MVImgNet展现出有前景的性能，留有许多未来探索的可能。此外，通过对MVImgNet进行密集重建，衍生出一个3D物体点云数据集，称为MVPNet，覆盖150类的87,200个样本，每个点云带有类别标签。实验表明MVPNet可有益于真实世界3D物体分类，同时也对点云理解提出了新挑战。MVImgNet和MVPNet将公开可用，希望启发更广泛的视觉界。
引用
@article{arxiv.2303.06042,
title = {MVImgNet: A Large-scale Dataset of Multi-view Images},
author = {Xianggang Yu and Mutian Xu and Yidan Zhang and Haolin Liu and Chongjie Ye and Yushuang Wu and Zizheng Yan and Chenming Zhu and Zhangyang Xiong and Tianyou Liang and Guanying Chen and Shuguang Cui and Xiaoguang Han},
journal= {arXiv preprint arXiv:2303.06042},
year = {2023}
}
备注
To be appear in CVPR2023. Project page: https://gaplab.cuhk.edu.cn/projects/MVImgNet/