Fantasia3D：解耦几何与外观以实现高质量文本到3D内容生成
计算机视觉与模式识别
2023-09-28 v3 人工智能
摘要
由于预训练大语言模型与图像扩散模型的可用，自动3D内容生成近期取得快速进展，形成了新兴的文本到3D内容生成课题。现有文本到3D方法通常使用隐式场景表示，通过体渲染将几何与外观耦合，在恢复更精细几何和实现真实感渲染方面次优；因此，它们生成高质量3D资产的效果较差。在本工作中，我们提出一种用于高质量文本到3D内容生成的Fantasia3D新方法。Fantasia3D的关键在于几何与外观的解耦建模与学习。对于几何学习，我们依赖混合场景表示，并提议将从中提取的表面法线编码作为图像扩散模型的输入。对于外观建模，我们将空间变化双向反射分布函数（BRDF）引入文本到3D任务，并学习表面材质以实现生成表面的真实感渲染。我们的解耦框架与主流图形引擎更兼容，支持对所生成3D资产的重光照、编辑与物理仿真。我们进行了充分实验，在不同文本到3D任务设定下展示了本方法相对于现有方法的优势。项目页面与源代码：https://fantasia3d.github.io/。
引用
@article{arxiv.2303.13873,
title = {Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation},
author = {Rui Chen and Yongwei Chen and Ningxin Jiao and Kui Jia},
journal= {arXiv preprint arXiv:2303.13873},
year = {2023}
}
备注
Accepted by ICCV 2023. Project page: https://fantasia3d.github.io/