PhotoMat：从单张闪光照片中学习得到的材质生成器
计算机视觉与模式识别
2023-05-24 v2 人工智能
图形学
摘要
创作高质量数字材质是实现 3D 渲染真实感的关键。此前的材质生成模型仅以合成数据训练，这类数据不仅获取有限，且与真实材质存在视觉差距。我们提出 PhotoMat 规避此局限：这是首个仅以手机闪光灯拍摄的材质样本真实照片训练的材质生成器。该设定下无法获得对单个材质图的监督；作为替代，我们训练一个生成器以产生神经材质表示，并通过习得的光照重算模块渲染出任意光照下的 RGB 图像，再借助判别器与真实照片比对。随后我们训练材质图估计器，从神经材质表示中解码材质反射属性。我们以新采集的 12,000 张手持手机闪光灯拍摄的材质照片数据集训练 PhotoMat，证明所生成材质在视觉质量上优于此前基于合成数据训练的材质生成器。此外，我们可拟合解析材质模型以紧密匹配这些生成的神经材质，从而支持进一步编辑并用于 3D 渲染。
引用
@article{arxiv.2305.12296,
title = {PhotoMat: A Material Generator Learned from Single Flash Photos},
author = {Xilong Zhou and Miloš Hašan and Valentin Deschaintre and Paul Guerrero and Yannick Hold-Geoffroy and Kalyan Sunkavalli and Nima Khademi Kalantari},
journal= {arXiv preprint arXiv:2305.12296},
year = {2023}
}