HG3-NeRF：面向稀疏视图输入的层次化几何、语义与光度引导神经辐射场
计算机视觉与模式识别
2024-01-23 v1
摘要
神经辐射场（NeRF）作为一种通过离散观测学习场景表示的新视角合成范式，已引起了广泛关注。然而，当面对稀疏视图输入时，NeRF 表现出明显的性能下降，从而限制了其进一步应用。在本工作中，我们引入了层次化几何、语义与光度引导 NeRF（HG3-NeRF），这是一种能够解决上述限制并增强不同视图间几何、语义内容和外观一致性的新方法。我们提出了层次化几何引导（HGG），将运动恢复结构（SfM）的附属物（即稀疏深度先验）纳入场景表示中。与直接深度监督不同，HGG 从局部到全局的几何区域采样体积点，减轻了由深度先验固有偏差引起的错位。此外，我们从不同分辨率图像中观察到的语义一致性显著变化中获得灵感，提出了层次化语义引导（HSG）以学习从粗到细的语义内容，这对应于从粗到细的场景表示。实验结果表明，HG3-NeRF 在不同的标准基准测试中优于其他最先进方法，并为稀疏视图输入实现了高保真合成结果。
引用
@article{arxiv.2401.11711,
title = {HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs},
author = {Zelin Gao and Weichen Dai and Yu Zhang},
journal= {arXiv preprint arXiv:2401.11711},
year = {2024}
}
备注
13 pages, 6 figures