MaterialPicker：基于多模态 DiT 的材料生成
计算机视觉与模式识别
2025-07-29 v3
摘要
高质量的材料生成是虚拟环境编写和逆渲染的关键。我们提出了 MaterialPicker，一种基于扩散转换器（DiT）架构的多模态材料生成器，旨在改进并简化从文本提示和/或照片生成高质量材料的过程。我们的方法可以根据图像裁剪的材料样本生成材料，即使该样本的表面受损、倾斜或部分遮挡，这在自然场景的照片中很常见。我们进一步允许用户指定文本提示为生成提供额外指导。我们将微调预训练的基于 DiT 的视频生成器以用作材料生成器，每个材料图被视为视频序列中的一帧。我们对方法进行了定量和定性评估，结果表明它比以往工作在材料生成的多样性和畸变纠正方面具有更好的表现。
引用
@article{arxiv.2412.03225,
title = {MaterialPicker: Multi-Modal DiT-Based Material Generation},
author = {Xiaohe Ma and Valentin Deschaintre and Miloš Hašan and Fujun Luan and Kun Zhou and Hongzhi Wu and Yiwei Hu},
journal= {arXiv preprint arXiv:2412.03225},
year = {2025}
}