Replica 数据集：室内空间的数字复制品
计算机视觉与模式识别
2019-06-14 v1 图形学
图像与视频处理
摘要
我们介绍了 Replica，一个包含 18 个高度照片级真实感 3D 室内场景重建的数据集，其尺度涵盖房间和建筑级别。每个场景由稠密网格、高分辨率高动态范围（HDR）纹理、逐图元语义类别与实例信息，以及平面镜面和玻璃反射器组成。Replica 的目标是支持依赖于视觉、几何和语义上逼真的世界生成模型的机器学习（ML）研究——例如，自我中心计算机视觉、2D 和 3D 语义分割、几何推断，以及执行导航、指令遵循和问答的具身智能体（虚拟机器人）的开发。由于 Replica 渲染的高真实度，有希望将在 Replica 上训练的 ML 系统直接迁移到真实世界的图像和视频数据中。伴随数据，我们发布了一个极简的 C++ SDK 作为使用 Replica 数据集的起点。此外，Replica 是“Habitat 兼容”的，即可以原生地与 AI Habitat 一起用于训练和测试具身智能体。
引用
@article{arxiv.1906.05797,
title = {The Replica Dataset: A Digital Replica of Indoor Spaces},
author = {Julian Straub and Thomas Whelan and Lingni Ma and Yufan Chen and Erik Wijmans and Simon Green and Jakob J. Engel and Raul Mur-Artal and Carl Ren and Shobhit Verma and Anton Clarkson and Mingfei Yan and Brian Budge and Yajie Yan and Xiaqing Pan and June Yon and Yuyang Zou and Kimberly Leon and Nigel Carter and Jesus Briales and Tyler Gillingham and Elias Mueggler and Luis Pesqueira and Manolis Savva and Dhruv Batra and Hauke M. Strasdat and Renzo De Nardi and Michael Goesele and Steven Lovegrove and Richard Newcombe},
journal= {arXiv preprint arXiv:1906.05797},
year = {2019}
}