Prompt2NeRF-PIL：基于预训练隐式潜空间的快速NeRF生成
计算机视觉与模式识别
2023-12-06 v1
摘要
本文探索了可提示的 NeRF 生成（例如文本提示或单图像提示），以直接调节并快速生成底层 3D 场景的 NeRF 参数，从而省去复杂的中间步骤，同时提供具有条件控制的全 3D 生成。与以往涉及繁琐的逐提示优化的基于 diffusion-CLIP 的流水线不同，Prompt2NeRF-PIL 利用 NeRF 参数的预训练隐式潜空间，能够通过单次前向传播生成各种 3D 对象。此外，在零样本任务中，我们的实验表明，由我们方法生成的 NeRF 可作为语义信息丰富的初始化，显著加速了现有 prompt-to-NeRF 方法的推理过程。具体而言，我们将展示我们的方法将 text-to-NeRF 模型 DreamFusion 以及 image-to-NeRF 方法 Zero-1-to-3 的 3D 重建速度提升了 3 至 5 倍。
引用
@article{arxiv.2312.02568,
title = {Prompt2NeRF-PIL: Fast NeRF Generation via Pretrained Implicit Latent},
author = {Jianmeng Liu and Yuyao Zhang and Zeyuan Meng and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2312.02568},
year = {2023}
}