CompNVS:基于场景补全的新视角合成
计算机视觉与模式识别
2022-07-26 v1 人工智能
摘要
我们提出一种可扩展框架,用于从场景覆盖严重不完整的RGB-D图像进行新视角合成。尽管生成式神经方法在2D图像上已取得惊人结果,但在需空间3D场景理解的场景补全任务中,尚未达到同等的逼真效果。为此,我们提出一种生成式流水线,基于稀疏网格神经场景表示,以2.5D-3D-2.5D方式通过学习的场景分布补全未观测场景部分。我们在3D空间中对编码图像特征进行处理,先经几何补全网络,再经纹理修复网络以外推缺失区域。最终可通过一致性相关的可微渲染获得逼真图像序列。综合实验表明,本方法图形输出优于SOTA,尤其在未观测场景部分。
引用
@article{arxiv.2207.11467,
title = {CompNVS: Novel View Synthesis with Scene Completion},
author = {Zuoyue Li and Tianxing Fan and Zhenqiang Li and Zhaopeng Cui and Yoichi Sato and Marc Pollefeys and Martin R. Oswald},
journal= {arXiv preprint arXiv:2207.11467},
year = {2022}
}
备注
ECCV 2022