Meta 3D AssetGen：基于高质量几何、纹理和 PBR 材料的文本到网格生成
计算机视觉与模式识别
2024-07-03 v1 人工智能
图形学
摘要
我们提出了Meta 3D AssetGen（AssetGen），这是一种在文本到3D生成方面取得重大进展的技术，能够产生信实且高质量的网格，支持纹理和材料控制。与那些将光照烘焙到3D对象外观中的工作不同，AssetGen输出基于物理的渲染(PBR)材料，支持真实的 relighting。AssetGen首先生成对象的前几个视角，采用分解的光照和 albedo 外观通道，然后在3D中重构颜色、金属度和粗糙度，使用高效监督的deferred shading loss。它还使用符号距离函数(SDF)更可靠地表示3D形状，并引入相应的loss用于直接形状监督。该实现采用融合内核以实现高内存效率。在网格提取后，operating in UV space的纹理细化 transformer显著提高了锐度和细节。AssetGen在 Chamfer Distance 上实现了17%的改进，在 LPIPS 上实现了40%的改进，优于最好的并行工作进行 few-view 重建，相对于最好的行业竞争对手的人类偏好达到72%，其中包括支持 PBR 的竞争对手。项目页面与生成资产：https://assetgen.github.io
关键词
引用
@article{arxiv.2407.02445,
title = {Meta 3D AssetGen: Text-to-Mesh Generation with High-Quality Geometry, Texture, and PBR Materials},
author = {Yawar Siddiqui and Tom Monnier and Filippos Kokkinos and Mahendra Kariya and Yanir Kleiman and Emilien Garreau and Oran Gafni and Natalia Neverova and Andrea Vedaldi and Roman Shapovalov and David Novotny},
journal= {arXiv preprint arXiv:2407.02445},
year = {2024}
}
备注
Project Page: https://assetgen.github.io