GO-NeRF：在神经辐射场中生成物体以用于虚拟现实内容创作
计算机视觉与模式识别
2024-09-23 v2
摘要
虚拟环境（VE）对于虚拟现实、增强现实和混合现实系统至关重要。尽管3D生成与重建技术取得了进展，但在已建立的3D场景（以NeRF表示）中直接创建3D物体以用于新颖VE创作，仍然是一个相对未被探索的领域。此过程十分复杂，不仅需要生成高质量的3D物体，还需要将其无缝集成到现有场景中。为此，我们提出了一种名为GO-NeRF的新颖流程，该流程具有直观的界面。我们的方法以文本提示和用户指定的区域作为输入，并利用场景上下文在场景内生成3D物体。我们采用了一种组合渲染公式，利用优化的3D感知不透明度图，有效地将生成的3D物体集成到场景中，避免了对原始场景的非预期修改。此外，我们开发了定制的优化目标和训练策略，以增强模型捕捉场景上下文的能力，并减轻在场景内优化3D物体时可能出现的伪影，如漂浮物。在前向和360°场景上进行的大量实验表明，我们提出的方法在生成与周围场景协调的物体以及合成高质量新视角图像方面具有优越的性能。我们承诺将公开我们的代码。
引用
@article{arxiv.2401.05750,
title = {GO-NeRF: Generating Objects in Neural Radiance Fields for Virtual Reality Content Creation},
author = {Peng Dai and Feitong Tan and Xin Yu and Yifan Peng and Yinda Zhang and Xiaojuan Qi},
journal= {arXiv preprint arXiv:2401.05750},
year = {2024}
}
备注
9 pages