MatLat：用于PBR纹理生成的材料潜在空间
计算机视觉与模式识别
2025-12-22 v1
摘要
我们提出了一个用于生成给定3D网格上高质量PBR纹理的生成框架。由于大规模PBR纹理数据稀缺，本方法侧重于有效地利用预训练潜在图像生成模型的嵌入空间和扩散先验，同时通过针对性微调学习材料潜在空间（MatLat）。不同于先前方法冻结嵌入网络，从而在编码额外PBR通道时导致分布偏移并阻碍后续扩散训练的方法，我们对预训练的VAE进行微调，使新材料通道能够以最小的潜在分布偏差进行集成。我们进一步表明，仅凭对应感注意力对于跨视图一致性是不够的，除非潜在到图像的映射保留局部性。为强化这种局部性，我们在VAE微调中引入一种正则化：对潜在块进行裁剪，解码后对齐相应的图像区域，以保持强大的像素-潜在空间对应关系。消融实验和与先前基线的比较表明，我们的框架提高了PBR纹理保真度，且每个组件都对实现最佳性能至关重要。
引用
@article{arxiv.2512.17302,
title = {MatLat: Material Latent Space for PBR Texture Generation},
author = {Kyeongmin Yeo and Yunhong Min and Jaihoon Kim and Minhyuk Sung},
journal= {arXiv preprint arXiv:2512.17302},
year = {2025}
}
备注
Project page: https://matlat-proj.github.io