野外RGBD物体：从RGB-D视频中扩展真实世界3D物体学习
计算机视觉与模式识别
2024-07-30 v3
摘要
我们引入了一个名为WildRGB-D的、在野外捕获的新RGB-D物体数据集。与大多数仅提供RGB捕获的现有真实世界以物体为中心的数据集不同，深度通道的直接捕获允许更好的3D标注和更广泛的下游应用。WildRGB-D包含大规模类别级别的RGB-D物体视频，这些视频使用iPhone围绕物体进行360度拍摄。它包含约8500个记录的物体和近20000个RGB-D视频，涵盖46个常见物体类别。这些视频在多样化的杂乱背景下拍摄，并采用三种设置以尽可能覆盖真实世界场景：（i）一个视频中单个物体；（ii）一个视频中多个物体；（iii）一个视频中带有静态手的物体。该数据集标注了物体掩码、真实世界尺度的相机位姿，以及从RGBD视频重建的聚合点云。我们使用WildRGB-D对四个任务进行了基准测试，包括新视角合成、相机位姿估计、物体6D位姿估计和物体表面重建。我们的实验表明，大规模捕获RGB-D物体为推进3D物体学习提供了巨大潜力。我们的项目页面是https://wildrgbd.github.io/。
引用
@article{arxiv.2401.12592,
title = {RGBD Objects in the Wild: Scaling Real-World 3D Object Learning from RGB-D Videos},
author = {Hongchi Xia and Yang Fu and Sifei Liu and Xiaolong Wang},
journal= {arXiv preprint arXiv:2401.12592},
year = {2024}
}
备注
Our project page: https://wildrgbd.github.io/