HoloGS:基于 Microsoft HoloLens 2 的即时深度 3D 高斯泼溅
计算机视觉与模式识别
2024-05-06 v1
摘要
在摄影测量、计算机视觉和计算机图形学领域,神经三维场景重建任务促使了各种技术的探索。其中,3D 高斯泼溅因其使用 3D 高斯对场景进行显式表示而脱颖而出,使其在 3D 点云提取和表面重建等任务中具有吸引力。受其潜力的启发,我们致力于三维场景重建领域,旨在利用 Microsoft HoloLens 2 的能力进行即时 3D 高斯泼溅。我们提出了 HoloGS,这是一种利用 HoloLens 传感器数据的新颖工作流程,它通过即时访问所需的输入数据(即图像、相机位姿和来自深度感应的点云),绕过了运动恢复结构等预处理步骤。我们提供了全面的研究,包括训练过程和渲染质量(通过峰值信噪比评估),以及来自高斯中心的稠密化点云的几何 3D 精度(通过倒角距离测量)。我们在两个自采场景上评估了我们的方法:一个文化遗产雕像的室外场景和一个精细结构植物的室内场景。我们的结果表明,HoloLens 数据,包括 RGB 图像、相应的相机位姿和基于深度感应的点云(用于初始化高斯),适合作为 3D 高斯泼溅的输入。
引用
@article{arxiv.2405.02005,
title = {HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2},
author = {Miriam Jäger and Theodor Kapler and Michael Feßenbecker and Felix Birkelbach and Markus Hillemann and Boris Jutzi},
journal= {arXiv preprint arXiv:2405.02005},
year = {2024}
}
备注
8 pages, 9 figures, 2 tables. Will be published in the ISPRS The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences