利用全景图像补全增强新视角合成
计算机视觉与模式识别
2023-09-08 v4
摘要
在本研究中，我们提出了一种基于神经辐射场（NeRF）从单张360度RGB-D图像合成新视角的方法。先前的研究依赖多层感知机的邻域插值能力来补全由遮挡和缩放引起的缺失区域，这导致了伪影。在本研究提出的方法中，输入图像被重投影到其他相机位置的全景RGB图像，重投影图像的缺失区域由2D图像生成模型补全，补全后的图像用于训练NeRF。由于多张补全图像在3D中存在不一致性，我们引入了一种使用补全图像子集训练NeRF模型的方法，该子集以较少的补全区域重叠覆盖目标场景。这种图像子集的选择可归结为最大权独立集问题，通过模拟退火求解。实验表明，所提方法能够合成合理的新视角，同时在人工和真实世界数据上保持场景特征。
引用
@article{arxiv.2203.09957,
title = {Enhancement of Novel View Synthesis Using Omnidirectional Image Completion},
author = {Takayuki Hara and Tatsuya Harada},
journal= {arXiv preprint arXiv:2203.09957},
year = {2023}
}
备注
20 pages, 19 figures