RIC：用于可泛化场景重建的旋转-修复-补全方法
计算机视觉与模式识别
2023-10-06 v2
摘要
通用场景重建是指估计包含未见过的物体的场景的完整 3D 几何与纹理的任务。在 AR/VR、自主导航和机器人技术等许多实际应用中，可能仅能获得场景的单视图，使得场景重建任务具有挑战性。在本文中，我们提出一种通过将问题结构性拆解为两步的场景重建方法：通过修复渲染新视角，以及 2D 到 3D 场景提升。具体而言，我们利用大型视觉语言模型（Dalle-2）的泛化能力来修复从不同视角渲染的场景彩色图像中的缺失区域。接下来，我们通过预测修复图像的法线并求解缺失深度值，将这些修复后的图像提升到 3D。通过预测法线而非直接预测深度，我们的方法能够对深度分布与尺度变化保持鲁棒。通过严格的定量评估，我们表明我们的方法优于多个基线，同时提供对新颖物体与场景的泛化能力。
引用
@article{arxiv.2307.11932,
title = {RIC: Rotate-Inpaint-Complete for Generalizable Scene Reconstruction},
author = {Isaac Kasahara and Shubham Agrawal and Selim Engin and Nikhil Chavan-Dafle and Shuran Song and Volkan Isler},
journal= {arXiv preprint arXiv:2307.11932},
year = {2023}
}