ARKitScenes：基于移动端 RGB-D 数据的多样化真实世界三维室内场景理解数据集
计算机视觉与模式识别
2022-01-13 v3 人工智能
摘要
场景理解是一个活跃的研究领域。近年来，Kinect 等商用深度传感器使得多个 RGB-D 数据集得以发布，并催生了三维场景理解的新方法。最近随着苹果 iPad 与 iPhone 中 LiDAR 传感器的推出，高质量 RGB-D 数据可在人们常用的设备上被数百万用户获取。这为计算机视觉界以及应用开发者开启了场景理解的全新时代。场景理解的基础研究连同机器学习的进展，如今可以影响人们的日常体验。然而，将这些场景理解方法转化为真实世界体验还需额外的创新与开发。本文中我们介绍 ARKitScenes。它不仅是以如今广泛可用的深度传感器采集的首个 RGB-D 数据集，而且据我们所知，它也是已发布的最大室内场景理解数据。除来自移动设备的原始与处理数据外，ARKitScenes 还包含使用固定式激光扫描仪捕获的高分辨率深度图，以及针对大量家具类别手动标注的三维有向边界框。我们进一步分析了该数据在两个下游任务中的效用：三维目标检测与颜色引导的深度上采样。我们表明我们的数据集可帮助推进现有 SOTA 方法的边界，并引入了更好代表真实世界场景的新挑战。
引用
@article{arxiv.2111.08897,
title = {ARKitScenes: A Diverse Real-World Dataset For 3D Indoor Scene Understanding Using Mobile RGB-D Data},
author = {Gilad Baruch and Zhuoyuan Chen and Afshin Dehghan and Tal Dimry and Yuri Feigin and Peter Fu and Thomas Gebauer and Brandon Joffe and Daniel Kurz and Arik Schwartz and Elad Shulman},
journal= {arXiv preprint arXiv:2111.08897},
year = {2022}
}