DualMat：基于一致双路径扩散的 PBR 材质估计
计算机视觉与模式识别
2025-08-08 v1
摘要
我们提出了 DualMat，一种 novel 的双路径扩散框架，用于在复杂光照条件下从单张图像估计物理光照渲染 (PBR) 材质。该方法在两个不同的潜在空间中运行：一个利用预训练的视觉知识通过 RGB 潜在空间实现镜面反射率优化，另一个在为精确的金属度和粗糙度估计而设计的紧凑潜在空间中运行材质专用路径。为确保镜面反射率优化路径与材质专用路径之间的预测一致性，我们引入了训练期间的特征蒸馏。我们采用rectified flow以减少推理步骤数而保持质量。该框架通过基于补丁的估计和跨视图注意力机制扩展至高分辨率和多视图输入，实现了无缝集成到图像到 3D 流水线中。DualMat 在 Objaverse 和真实世界数据上实现了最先进的性能，显著优于现有方法，在镜面反射率估计中提升最高可达 28%，金属-粗糙度预测误差降低最高可达 39%。
引用
@article{arxiv.2508.05060,
title = {DualMat: PBR Material Estimation via Coherent Dual-Path Diffusion},
author = {Yifeng Huang and Zhang Chen and Yi Xu and Minh Hoai and Zhong Li},
journal= {arXiv preprint arXiv:2508.05060},
year = {2025}
}