生成式 AI 遇见 3D: AIGC 时代文本到 3D 综述
计算机视觉与模式识别
2024-10-28 v4
摘要
生成式 AI 近年来取得显著进展,其中文本引导的内容生成最为实用,因其促进了人类指令与 AI 生成内容(AIGC)之间的交互。得益于文本到图像与 3D 建模技术(如神经辐射场(NeRF))的进步,文本到 3D 已成为一个新兴但高度活跃的研究领域。我们的工作对该主题进行了全面综述,并跟进整体领域的后续研究进展,旨在帮助感兴趣该方向的读者快速跟上其快速发展。首先,我们介绍 3D 数据表示,包括结构化与非结构化数据。在此前提下,我们介绍各种实现满意文本到 3D 结果的核心技术。此外,我们呈现近期文本到 3D 技术中的主流基线与研究方向,包括保真度、效率、一致性、可控性、多样性与适用性。进一步,我们总结了文本到 3D 技术在各类应用中的使用,包括化身生成、纹理生成、场景生成与 3D 编辑。最后,我们讨论文本到 3D 未来发展的议程。
引用
@article{arxiv.2305.06131,
title = {Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era},
author = {Chenghao Li and Chaoning Zhang and Joseph Cho and Atish Waghwase and Lik-Hang Lee and Francois Rameau and Yang Yang and Sung-Ho Bae and Choong Seon Hong},
journal= {arXiv preprint arXiv:2305.06131},
year = {2024}
}