用于形状引导生成三维形状与纹理的 Latent-NeRF
计算机视觉与模式识别
2022-11-15 v1 图形学
摘要
文本引导图像生成在近年来快速进展，启发了文本引导形状生成的重大突破。最近研究表明，使用分数蒸馏（score distillation）可以成功以文本引导 NeRF 模型生成三维物体。我们将分数蒸馏适配到公开可用且计算高效的 Latent Diffusion Models，其在预训练自编码器的紧凑潜空间中进行整个扩散过程。由于 NeRF 在图像空间中操作，以潜分数蒸馏引导它们的朴素方案将需要在每个引导步编码到潜空间。相反，我们提出将 NeRF 带入潜空间，从而得到 Latent-NeRF。分析我们的 Latent-NeRF，我们表明尽管文本到三维模型能生成令人印象深刻的结果，但它们本质上不受约束，可能缺乏引导或强制特定三维结构的能力。为辅助并指导三维生成，我们提出使用 Sketch-Shape 来引导我们的 Latent-NeRF：一种定义所需物体粗结构的抽象几何。然后，我们给出将此类约束直接集成到 Latent-NeRF 中的方法。这种文本与形状引导的独特组合增强了对生成过程的控制。我们还展示潜分数蒸馏可直接成功应用于三维网格。这允许在给定几何上生成高质量纹理。我们的实验验证了不同引导形式的威力以及使用潜渲染的效率。实现见 https://github.com/eladrich/latent-nerf
引用
@article{arxiv.2211.07600,
title = {Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures},
author = {Gal Metzer and Elad Richardson and Or Patashnik and Raja Giryes and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2211.07600},
year = {2022}
}