MuSHRoom：面向联合三维重建与新视角合成的多传感器混合房间数据集
计算机视觉与模式识别
2024-12-17 v3
摘要
元宇宙技术需要在消费级硬件上对非人类感知（如无人机/机器人/自动驾驶汽车导航）和AR/VR等沉浸式技术进行准确、实时和沉浸式的建模，这要求兼具结构精度与照片真实感。然而，如何在统一框架中应用几何重建与照片真实感建模（新视角合成）方面存在知识空白。为弥补这一空白并推动基于消费级设备的鲁棒沉浸式建模与渲染的发展，我们提出了一个真实世界的多传感器混合房间数据集（MuSHRoom）。我们的数据集提出了令人振奋的挑战，要求最先进的方法具有成本效益、对噪声数据和设备鲁棒，并能够联合学习三维重建与新视角合成，而非将其视为独立任务，从而非常适合真实世界应用。我们在该数据集上针对联合三维网格重建与新视角合成对若干著名流程进行了基准测试。我们的数据集与基准测试显示出在以鲁棒且计算高效的端到端方式融合三维重建与高质量渲染方面推动进步的巨大潜力。数据集与代码可在项目网站获取：https://xuqianren.github.io/publications/MuSHRoom/。
引用
@article{arxiv.2311.02778,
title = {MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction and Novel View Synthesis},
author = {Xuqian Ren and Wenjia Wang and Dingding Cai and Tuuli Tuominen and Juho Kannala and Esa Rahtu},
journal= {arXiv preprint arXiv:2311.02778},
year = {2024}
}