基于单张 RGBD 图像的室内场景新视角合成
计算机视觉与模式识别
2023-11-03 v1
摘要
本文中，我们提出一种从单张 RGBD（红绿蓝-深度）输入合成新视角图像的方法。新视角合成（NVS）是一项具有广泛应用的计算机视觉有趣任务。使用多张图像的方法已被充分研究，典型者包括训练场景特定的神经辐射场（NeRF），或利用多视图立体（MVS）与 3D 渲染流水线。然而，二者要么计算密集，要么难以跨不同场景泛化，限制了其实用价值。相反，RGBD 图像中嵌入的深度信息从单一视角解锁了 3D 潜力，简化了 NVS。紧凑、廉价的立体相机乃至当代设备（如智能手机）中甚至激光雷达（LiDAR）的广泛普及，使捕获 RGBD 图像比以往任何时候都更便捷。在我们的方法中，我们将 RGBD 图像转换为点云并从不同视点渲染，随后将 NVS 任务表述为图像翻译问题。我们利用生成对抗网络对渲染图像进行风格迁移，获得类似于从新视角拍摄的照片的结果。我们探索了使用 CycleGAN 的无监督学习以及使用 Pix2Pix 的监督学习，并展示了定性结果。我们的方法规避了传统多图像技术的局限，在 NVS 的实际实时应用中前景广阔。
引用
@article{arxiv.2311.01065,
title = {Novel View Synthesis from a Single RGBD Image for Indoor Scenes},
author = {Congrui Hetang and Yuping Wang},
journal= {arXiv preprint arXiv:2311.01065},
year = {2023}
}
备注
2nd International Conference on Image Processing, Computer Vision and Machine Learning, November 2023