MatE：基于几何先验的单图像材料提取
计算机视觉与模式识别
2025-12-23 v1
摘要
高保真、基于物理的渲染(PBR)材料的创建仍是许多图形管道中的瓶颈,通常需要专业设备和专家驱动的后处理。为民主化这一过程,我们提出MatE,一种从单张在无约束、真实世界条件下拍摄的图像生成可平铺PBR材料的新方法。给定图像和用户提供的掩码,MatE首先使用估计深度图作为几何先验进行粗糙校正,然后采用双分支扩散模型。利用来自旋转对齐和尺度对齐训练数据的学习一致性,该模型进一步校正粗结果的残差畸变并将其转化为包括albedo、normal、roughness和height在内的一整套材料图。我们的框架对输入图像的未知照明和视角具有不变性,允许从随意捕获的图像中恢复材料的固有属性。通过对合成和真实世界数据的全面实验,我们展示了该方法的有效性和鲁棒性,使用户能够从真实图像中创建逼真的材料。
引用
@article{arxiv.2512.18312,
title = {MatE: Material Extraction from Single-Image via Geometric Prior},
author = {Zeyu Zhang and Wei Zhai and Jian Yang and Yang Cao},
journal= {arXiv preprint arXiv:2512.18312},
year = {2025}
}
备注
8 pages, 8 figures