聚焦特定目标的NeRF
计算机视觉与模式识别
2023-08-14 v1 图形学
摘要
大多数基于NeRF的模型设计用于学习整个场景，而复杂场景会导致更长的学习时间和更差的渲染效果。本文利用场景语义先验在快速训练方面进行改进，使网络聚焦于特定目标且不受复杂背景影响。训练速度可提升7.78倍且渲染效果更好，中小尺寸目标可更快渲染。此外，该改进适用于所有基于NeRF的模型。考虑到NeRF固有的多视图一致性与平滑性，本文还研究了通过稀疏采样负射线样本进行弱监督。利用该方法可进一步加速训练并保持渲染质量。最后，本文扩展了像素语义与颜色渲染公式，提出了一种新场景编辑技术，可实现特定语义目标的独特显示或在渲染中将其掩蔽。针对场景中无监督区域错误推断的问题，我们还设计了一个结合形态学操作与聚类的自监督循环。
引用
@article{arxiv.2308.05970,
title = {Focused Specific Objects NeRF},
author = {Yuesong Li and Feng Pan and Helong Yan and Xiuli Xin and Xiaoxue Feng},
journal= {arXiv preprint arXiv:2308.05970},
year = {2023}
}
备注
17 pages,32 figures