三维常见物体：真实生活 3D 类别重建的大规模学习与评测
计算机视觉与模式识别
2021-09-02 v1
摘要
传统的 3D 物体类别学习方法主要在合成数据集上训练和评测，因为缺乏带有真实 3D 标注的以类别为中心的数据。我们的主要目标是通过收集与现有合成数据规模相当的真实世界数据来推动该领域的进展。因此，本工作的主要贡献是一个称为 Common Objects in 3D（三维常见物体）的大规模数据集，包含带有相机位姿和真实 3D 点云标注的真实多视角物体类别图像。该数据集总计来自近 19,000 段视频的 150 万帧，捕捉来自 50 个 MS-COCO 类别的物体，因此在类别数和物体数上都显著大于其他替代数据集。我们利用这一新数据集对几种新视角合成和以类别为中心的 3D 重建方法进行了首批大规模“真实场景”评测。最后，我们提出了 NerFormer——一种利用强大 Transformer 在给定少量视角下重建物体的新型神经渲染方法。CO3D 数据集可在 https://github.com/facebookresearch/co3d 获取。
引用
@article{arxiv.2109.00512,
title = {Common Objects in 3D: Large-Scale Learning and Evaluation of Real-life 3D Category Reconstruction},
author = {Jeremy Reizenstein and Roman Shapovalov and Philipp Henzler and Luca Sbordone and Patrick Labatut and David Novotny},
journal= {arXiv preprint arXiv:2109.00512},
year = {2021}
}