MatPedia：面向高保真材质合成的通用生成基座模型
计算机视觉与模式识别
2026-03-05 v2
摘要
基于物理的渲染（PBR）材质是实现照片级图形学的基础，但其创建过程仍然代价高昂且需要专业技能。虽然生成模型在材质合成方面取得了进展，但现有方法缺乏一种统一的表征方式，将自然图像外观与PBR属性建立联系，导致任务特定的流水线碎片化，无法利用大规模RGB图像数据。我们提出MatPedia，一种基于新颖联合RGB-PBR表征的基座模型，该表征紧凑地将材质编码为两个相互依赖的潜在变量：一个用于RGB外观，另一个用于编码四个PBR图谱以表达互补物理属性。通过将其建模为5帧序列并采用视频扩散架构，MatPedia能够自然捕获它们之间的相关性，同时从RGB生成模型中传递视觉先验。这种联合表征使得单一架构能够处理多种材质任务——文本到材质生成、图像到材质生成以及内在分解。在MatHybrid-410K数据集上训练的MatPedia能够实现原生的合成，在质量和多样性方面均显著优于现有方法。
引用
@article{arxiv.2511.16957,
title = {MatPedia: A Universal Generative Foundation for High-Fidelity Material Synthesis},
author = {Di Luo and Shuhui Yang and Mingxin Yang and Jiawei Lu and Yixuan Tang and Xintong Han and Zhuo Chen and Beibei Wang and Chunchao Guo},
journal= {arXiv preprint arXiv:2511.16957},
year = {2026}
}