RGBD2：基于RGBD扩散模型增量视图修复的生成式场景合成
计算机视觉与模式识别
2023-03-20 v2
摘要
我们致力于解决从稀疏RGBD视图观测中恢复底层场景几何与颜色的挑战。在这项工作中，我们提出了一种称为RGBD的新方案，它沿相机轨迹顺序生成新颖的RGBD视图，而场景几何仅仅是这些视图的融合结果。更具体地，我们维护一个用于渲染新RGBD视图的中间表面网格，该网格随后通过修复网络变得完整；每个渲染的RGBD视图随后被反投影为部分表面并补充进中间网格。中间网格与相机投影的使用有助于解决多视图不一致这一难题。我们将RGBD修复网络实际实现为一个通用的RGBD扩散模型，该模型此前用于2D生成建模；我们对其反向扩散过程进行了修改以适配我们的用途。我们在从稀疏RGBD输入进行3D场景合成的任务上评估了我们的方法；在ScanNet数据集上的大量实验证明了我们的方法相对于现有方法的优越性。项目页面：https://jblei.site/proj/rgbd-diffusion。
引用
@article{arxiv.2212.05993,
title = {RGBD2: Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models},
author = {Jiabao Lei and Jiapeng Tang and Kui Jia},
journal= {arXiv preprint arXiv:2212.05993},
year = {2023}
}
备注
CVPR 2023