学习局部统一的 3D 点云用于视图合成
计算机视觉与模式识别
2023-10-03 v3
摘要
本文探讨了基于 3D 点云表示的从一组稀疏源视图进行视图合成的问题。为应对这一挑战性问题,我们提出了一种基于深度学习的新型视图合成范式,从源视图中学习局部统一的 3D 点云。具体地,我们首先基于深度图将源视图投影到 3D 空间以构建子点云。然后,我们在子点云并集上定义的局部邻域内通过自适应融合点来学习局部统一的 3D 点云。此外,我们还提出了一种 3D 几何引导的图像修复模块,以填充渲染出的新视图中的空洞并恢复高频细节。在三个基准数据集上的实验结果表明,与最先进的视图合成方法相比,我们的方法在保留更准确视觉细节的同时,可将平均 PSNR 提升超过 4 dB。
引用
@article{arxiv.2209.05013,
title = {Learning A Locally Unified 3D Point Cloud for View Synthesis},
author = {Meng You and Mantang Guo and Xianqiang Lyu and Hui Liu and Junhui Hou},
journal= {arXiv preprint arXiv:2209.05013},
year = {2023}
}
备注
Accepted to TIP