GET3D：从图像中学习的高质量带纹理三维形状生成模型
计算机视觉与模式识别
2022-09-23 v1
摘要
随着若干行业向建模大规模三维虚拟世界迈进，对能够在三维内容的数量、质量和多样性上实现扩展的内容创作工具的需求日益明显。在我们的工作中，我们旨在训练高性能的三维生成模型，以合成可直接被三维渲染引擎消费的带纹理网格，从而可立即用于下游应用。先前关于三维生成建模的工作要么缺乏几何细节，要么所能生成的网格拓扑有限，通常不支持纹理，要么在合成过程中使用神经渲染器，这使得它们在常见三维软件中的使用变得不平凡。在本工作中，我们提出 GET3D，一种直接生成具有复杂拓扑、丰富几何细节和高保真纹理的显式带纹理三维网格（Explicit Textured 3D meshes）的生成模型。我们结合可微表面建模、可微渲染以及二维生成对抗网络（Generative Adversarial Networks, GAN）的最新进展，从二维图像集合训练我们的模型。GET3D 能够生成高质量的三维带纹理网格，涵盖汽车、椅子、动物、摩托车、人物角色到建筑，相较先前方法取得了显著改进。
引用
@article{arxiv.2209.11163,
title = {GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images},
author = {Jun Gao and Tianchang Shen and Zian Wang and Wenzheng Chen and Kangxue Yin and Daiqing Li and Or Litany and Zan Gojcic and Sanja Fidler},
journal= {arXiv preprint arXiv:2209.11163},
year = {2022}
}
备注
NeurIPS 2022, Project Page: https://nv-tlabs.github.io/GET3D/