X-NeRF：面向多场景 360$^\circ$ 不充分 RGB-D 视图的显式神经辐射场
计算机视觉与模式识别
2022-10-12 v1
摘要
神经辐射场尽管在新视角合成方面表现优异，但通常需要密集的输入视图。许多研究分别为每个场景训练一个模型，鲜有探索将多模态数据引入该问题。本文聚焦于一个鲜少讨论但重要的设定：能否仅用 360 不充分视图和 RGB-D 图像，训练一个能表示多个场景的模型？我们将不充分视图定义为极少且极度稀疏、几乎无重叠的视图。为解决此问题，我们提出了 X-NeRF，这是一种完全显式的方法，它学习通用的场景补全过程，而非基于坐标的映射。给定少量不充分的 RGB-D 输入视图，X-NeRF 首先将其转换为稀疏点云张量，然后应用三维稀疏生成卷积神经网络将其补全为显式辐射场，其体渲染可在推理时快速进行而无需运行网络。为避免过拟合，除了常见的渲染损失外，我们还应用了感知损失以及通过对点云进行随机旋转的视图增强。所提方法在我们的设定下显著优于以往的隐式方法，表明了所提问题与方法的巨大潜力。代码和数据可在 https://github.com/HaoyiZhu/XNeRF 获取。
引用
@article{arxiv.2210.05135,
title = {X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views},
author = {Haoyi Zhu and Hao-Shu Fang and Cewu Lu},
journal= {arXiv preprint arXiv:2210.05135},
year = {2022}
}