面向遮挡感知基于图像渲染的神经射线方法
计算机视觉与模式识别
2022-03-29 v2 图形学
摘要
我们提出了一种用于新视角合成任务的新型神经表示，称为神经射线（NeuRay）。近期工作利用输入视图的图像特征构建辐射场以渲染新视角图像，从而实现对新场景的泛化。然而，由于遮挡，一个三维点在某些输入视图中可能不可见。在此类三维点上，这些泛化方法会纳入来自不可见视图的不一致图像特征，从而干扰辐射场的构建。为解决该问题，我们在 NeuRay 表示中预测三维点对输入视图的可见性。该可见性使辐射场构建能够聚焦于可见图像特征，显著提升了渲染质量。同时，提出了一种新颖的一致性损失，用于在针对特定场景微调时精炼 NeuRay 中的可见性。实验表明，我们的方法在泛化至未见场景的新视角合成任务上达到了最先进（SOTA）性能，并在微调后优于逐场景优化方法。
引用
@article{arxiv.2107.13421,
title = {Neural Rays for Occlusion-aware Image-based Rendering},
author = {Yuan Liu and Sida Peng and Lingjie Liu and Qianqian Wang and Peng Wang and Christian Theobalt and Xiaowei Zhou and Wenping Wang},
journal= {arXiv preprint arXiv:2107.13421},
year = {2022}
}
备注
CVPR2022. Project page https://liuyuan-pal.github.io/NeuRay/ Codes available at https://github.com/liuyuan-pal/NeuRay