PVSeRF：用于单图像新视角合成的联合像素、体素与表面对齐辐射场
计算机视觉与模式识别
2022-02-11 v1
摘要
我们提出了 PVSeRF，这是一个从单视角 RGB 图像重建神经辐射场以进行新视角合成的学习框架。以往的方法（如 pixelNeRF）仅依赖像素对齐特征，存在特征模糊问题。因此，它们难以解耦几何与外观，导致生成不合常理的几何结构和模糊的结果。为应对这一挑战，我们提出引入显式几何推理，并将其与像素对齐特征相结合以进行辐射场预测。具体而言，除了像素对齐特征外，我们进一步约束辐射场学习，使其以 i) 从粗糙体素网格中学习到的体素对齐特征，以及 ii) 从回归点云中提取的精细表面对齐特征为条件。我们表明，引入此类几何感知特征有助于实现外观与几何之间更好的解耦，即恢复更准确的几何结构并合成更高质量的新视角图像。在 ShapeNet 基准上与 SOTA 方法进行的广泛实验证明了我们方法在单图像新视角合成任务上的优越性。
引用
@article{arxiv.2202.04879,
title = {PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis},
author = {Xianggang Yu and Jiapeng Tang and Yipeng Qin and Chenghong Li and Linchao Bao and Xiaoguang Han and Shuguang Cui},
journal= {arXiv preprint arXiv:2202.04879},
year = {2022}
}