MaPa：面向 3D 形状的文本驱动逼真材质绘画
计算机视觉与模式识别
2025-04-15 v3
摘要
本文旨在从文本描述生成 3D 网格的材质。与现有方法不同的是，我们提出生成面向网格部分的程序化材质图作为外观表征，该表征支持高质量渲染并提供在编辑方面的显著灵活性。与其依赖大量配对数据（即具有材质图和相应文本描述的 3D 网格）来训练材质图生成模型，我们提出利用预训练的 2D 扩散模型作为桥梁，将文本和材质图连接起来。具体而言，我们的方法将形状分解为一组部分，并设计了受段控制的扩散模型来合成与网格部分对齐的 2D 图像。基于生成的图像，我们初始化材质图的参数并通过可微分渲染模块进行微调，以产生符合文本描述的材质。广泛的实验表明，我们框架在逼真度、分辨率和可编辑性方面优于现有方法。项目页面：https://zju3dv.github.io/MaPa
引用
@article{arxiv.2404.17569,
title = {MaPa: Text-driven Photorealistic Material Painting for 3D Shapes},
author = {Shangzan Zhang and Sida Peng and Tao Xu and Yuanbo Yang and Tianrun Chen and Nan Xue and Yujun Shen and Hujun Bao and Ruizhen Hu and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2404.17569},
year = {2025}
}