Material Palette：从单张图像提取材质
计算机视觉与模式识别
2023-11-29 v1 图形学
摘要
本文提出一种从单张真实世界图像提取基于物理渲染（PBR）材质的方法。我们分两步进行：首先，利用扩散模型将图像区域映射到材质概念，从而能够采样出与场景中每种材质相似的纹理图像。其次，借助一个独立网络将生成的纹理分解为空间变化BRDF（SVBRDF），为我们提供可直接用于渲染应用的材质。我们的方法构建于带有SVBRDF真值的现有合成材质库之上，同时利用扩散生成的RGB纹理数据集，通过无监督域适应（UDA）泛化到新样本。我们的贡献在合成与真实世界数据集上进行了充分评估。我们进一步展示了该方法在使用真实照片估计材质编辑3D场景中的适用性。代码与模型将开源。项目主页：https://astra-vision.github.io/MaterialPalette/
引用
@article{arxiv.2311.17060,
title = {Material Palette: Extraction of Materials from a Single Image},
author = {Ivan Lopes and Fabio Pizzati and Raoul de Charette},
journal= {arXiv preprint arXiv:2311.17060},
year = {2023}
}
备注
8 pages, 11 figures, 2 tables. Webpage https://astra-vision.github.io/MaterialPalette/