Set-the-Scene：用于生成可控 NeRF 场景的全局-局部训练方法
计算机视觉与模式识别
2023-03-24 v1 图形学
机器学习
摘要
近期文本引导图像生成的突破推动了文本到 3D 合成领域的显著进展。通过直接从文本优化神经辐射场（NeRF），现有方法能够产生令人瞩目的结果。然而，这些方法将场景作为整体表示，在控制每个物体的位置或外观方面存在局限。在需要细化或操控场景中物体的情形下，这可能成为主要问题。为弥补这一不足，我们提出了一种新颖的全局-局部训练框架，利用物体代理（proxy）合成 3D 场景。代理表示物体在生成场景中的位置，并可选择性地定义其粗粒度几何。我们方法的关键在于将每个物体表示为独立的 NeRF。我们在独立优化各个 NeRF 与将其作为完整场景一部分进行优化之间交替。由此，既可以学习到每个物体的完整表示，又能创建风格与光照匹配的和谐场景。我们展示了使用代理可带来多种编辑选项，例如调整各独立物体的位置、从场景中移除物体或细化某个物体。我们的结果表明，Set-the-Scene 为场景合成与操控提供了强有力的解决方案，填补了可控文本到 3D 合成中的关键空白。
引用
@article{arxiv.2303.13450,
title = {Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes},
author = {Dana Cohen-Bar and Elad Richardson and Gal Metzer and Raja Giryes and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2303.13450},
year = {2023}
}
备注
project page at https://danacohen95.github.io/Set-the-Scene/