利用来自稠密新视角的双层语义指导增强稀疏输入神经辐射场
计算机视觉与模式识别
2025-03-05 v1
摘要
神经辐射场在逼真的新视角合成方面展现出了卓越的能力。NeRF 的一个主要缺陷是通常需要稠密输入，而在给定稀疏输入时渲染质量会急剧下降。在本文中，我们强调了来自稠密新视角的渲染语义的有效性，并表明渲染语义可以被视为比渲染 RGB 更稳健的增强数据形式。我们的方法通过结合从渲染语义中得出的指导来增强 NeRF 的性能。渲染语义指导包含两个层次：监督层次和特征层次。监督层次指导包含一个双向验证模块，用于决定每个渲染语义标签的有效性；而特征层次指导集成了一个编码语义感知信息的可学习码本，每个点通过注意力机制查询该码本以获得语义相关的预测。整体语义指导被嵌入到一个自我改进的流程中。我们还引入了一个更具挑战性的稀疏输入室内基准，其中输入数量限制为少至 6 个。实验证明了我们方法的有效性，并且与现有方法相比展现出优越的性能。
引用
@article{arxiv.2503.02230,
title = {Empowering Sparse-Input Neural Radiance Fields with Dual-Level Semantic Guidance from Dense Novel Views},
author = {Yingji Zhong and Kaichen Zhou and Zhihao Li and Lanqing Hong and Zhenguo Li and Dan Xu},
journal= {arXiv preprint arXiv:2503.02230},
year = {2025}
}