MATLABER：基于潜在 BRDF 自编码器的材质感知文本到三维生成
计算机视觉与模式识别
2023-08-21 v1
摘要
基于强大的文本到图像扩散模型，文本到三维生成在生成引人注目的几何与外观方面已取得显著进展。然而，现有方法仍难以恢复高保真度的物体材质，要么仅考虑朗伯反射，要么无法将 BRDF 材质与环境光照解耦。在本工作中，我们提出基于潜在 BRDF 自编码器的材质感知文本到三维生成（Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR，MATLABER），其利用一种新颖的潜在 BRDF 自编码器进行材质生成。我们使用大规模真实世界 BRDF 数据集训练该自编码器，并确保其潜在空间的平滑性，这隐式地充当了材质的自然分布。在文本到三维生成的表面建模过程中，通过材质网络预测的是潜在 BRDF 嵌入而非 BRDF 参数。通过详尽的实验，我们的方法在生成真实且一致的物体材质方面展现出相对于现有方法的优越性。此外，高质量材质自然赋能重光照与材质编辑等多种下游任务。代码与模型将公开于 \url{https://sheldontsui.github.io/projects/Matlaber}。
引用
@article{arxiv.2308.09278,
title = {MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR},
author = {Xudong Xu and Zhaoyang Lyu and Xingang Pan and Bo Dai},
journal= {arXiv preprint arXiv:2308.09278},
year = {2023}
}