MaterialGAN:基于生成式SVBRDF模型的反射率捕获
计算机视觉与模式识别
2020-12-09 v1
摘要
我们解决从少量图像测量重建空间变化BRDF的问题。这是一个本质上的欠定问题,先前工作依赖各种正则化先验或捕获大量图像以产生合理结果。本工作中,我们提出MaterialGAN,一种基于StyleGAN2的深度生成卷积网络,训练用于合成逼真的SVBRDF参数图。我们展示MaterialGAN可在逆渲染框架中作为强大的材质先验:我们在其潜表示中优化,以生成在渲染时匹配所捕获图像外观的材质图。我们在使用手持手机于闪光灯照明下捕获的图像重建SVBRDF任务上演示该框架。我们的方法成功生成准确复现目标图像的合理材质图,并在合成与真实数据的评估中优于先前最先进的材质捕获方法。此外,我们基于GAN的潜空间支持高层语义材质编辑操作,如生成材质变体与材质变形。
引用
@article{arxiv.2010.00114,
title = {MaterialGAN: Reflectance Capture using a Generative SVBRDF Model},
author = {Yu Guo and Cameron Smith and Miloš Hašan and Kalyan Sunkavalli and Shuang Zhao},
journal= {arXiv preprint arXiv:2010.00114},
year = {2020}
}
备注
13 pages, 16 figures. Siggraph Asia 2020