MVLight：基于光照条件多视图扩散的可重光照文本到 3D 生成
计算机视觉与模式识别
2024-11-19 v1
摘要
基于高性能文本到图像生成模型的成功，文本到 3D 生成的最新进展已使得从文本描述创建富有想象力且纹理丰富的 3D 对象成为可能。然而，有效解耦与光照无关的成分和依赖光照的成分以提升生成 3D 模型的质量及其重光照性能，仍是一个关键挑战。在本文中，我们提出了 MVLight，一种新颖的光照条件多视图扩散模型，该模型将光照条件显式地直接集成到生成过程中。这使得模型能够合成在多个相机视点下忠实反映指定光照环境的高质量图像。通过将此能力应用于 Score Distillation Sampling (SDS)，我们能够有效合成具有改进几何精度和重光照能力的 3D 模型。我们通过大量实验和用户研究验证了 MVLight 的有效性。
引用
@article{arxiv.2411.11475,
title = {MVLight: Relightable Text-to-3D Generation via Light-conditioned Multi-View Diffusion},
author = {Dongseok Shim and Yichun Shi and Kejie Li and H. Jin Kim and Peng Wang},
journal= {arXiv preprint arXiv:2411.11475},
year = {2024}
}