MaterialMVP: 基于多视角PBR扩散的光照不变材质生成
计算机视觉与模式识别
2025-07-31 v2
摘要
物理渲染（PBR）已成为现代计算机图形学的基石，能够在3D场景中实现逼真的材质表示与光照交互。在本文中，我们提出了MaterialMVP，一个用于从3D网格和图像提示生成PBR纹理的新型端到端模型，解决了多视角材质合成中的关键挑战。我们的方法利用Reference Attention从输入参考图像中提取并编码信息丰富的潜在表示，从而实现直观且可控的纹理生成。我们还引入了一种Consistency-Regularized Training策略，以强制在不同视角和光照条件下保持稳定，确保光照不变且几何一致的结果。此外，我们提出了Dual-Channel Material Generation，分别优化albedo和metallic-roughness（MR）纹理，同时通过Multi-Channel Aligned Attention保持与输入图像的精确空间对齐。可学习的材质嵌入被进一步整合，以捕捉albedo和MR的不同特性。实验结果表明，我们的模型在多样化光照场景下生成具有真实行为的PBR纹理，在一致性和质量方面均优于现有方法，适用于可扩展的3D资产创建。
引用
@article{arxiv.2503.10289,
title = {MaterialMVP: Illumination-Invariant Material Generation via Multi-view PBR Diffusion},
author = {Zebin He and Mingxin Yang and Shuhui Yang and Yixuan Tang and Tao Wang and Kaihao Zhang and Guanying Chen and Yuhong Liu and Jie Jiang and Chunchao Guo and Wenhan Luo},
journal= {arXiv preprint arXiv:2503.10289},
year = {2025}
}