GSNeRF：具备增强三维场景理解的通用语义神经射影场
计算机视觉与模式识别
2024-03-07 v1 人工智能
机器学习
摘要
利用多视角输入合成新视角图像，神经射影场（NeRF）已成为3D视觉中热门的研究主题。本文介绍了通用语义神经射影场（GSNeRF），该方法独特地将图像语义纳入合成过程，从而为未见场景生成新视图图像及其关联语义图。我们的GSNeRF由两个阶段组成：语义几何推理与深度引导的视觉渲染。前者能够从场景中提取语义和几何特征。由此得到的图像几何信息引导下，后者在提高性能的同时，执行图像和语义渲染。我们的实验不仅证实GSNeRF在新视图图像和语义分割合成方面优于先前方法，还进一步验证了我们用于视觉渲染的采样策略的有效性。
引用
@article{arxiv.2403.03608,
title = {GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D Scene Understanding},
author = {Zi-Ting Chou and Sheng-Yu Huang and I-Jieh Liu and Yu-Chiang Frank Wang},
journal= {arXiv preprint arXiv:2403.03608},
year = {2024}
}
备注
Accepted by CVPR2024