MatFuse：基于扩散模型的可控材质生成
计算机视觉与模式识别
2024-11-18 v3 图形学
摘要
在计算机图形学中创建高质量材质是一项具有挑战性且耗时的工作，需要极高的专业知识。为简化该过程，我们提出MatFuse，一种利用扩散模型生成能力进行3D材质创建与编辑的统一方法。我们的方法整合了多种条件来源，包括调色板、草图、文本与图像，增强了创作可能性并对材质合成提供细粒度控制。此外，MatFuse通过基于多编码器压缩模型的潜空间操作实现地图级材质编辑能力，该模型为每个地图学习解耦的潜表示。我们在多种条件设置下展示了MatFuse的有效性，并探索了材质编辑的潜力。最后，我们从定量的CLIP-IQA与FID分数以及定性的用户研究两方面评估了生成材质的质量。训练MatFuse的源代码与补充材料公开于 https://gvecchio.com/matfuse。
引用
@article{arxiv.2308.11408,
title = {MatFuse: Controllable Material Generation with Diffusion Models},
author = {Giuseppe Vecchio and Renato Sortino and Simone Palazzo and Concetto Spampinato},
journal= {arXiv preprint arXiv:2308.11408},
year = {2024}
}