利用预训练生成对抗网络从带高光的单幅图像恢复空间变化双向反射分布函数
计算机视觉与模式识别
2021-11-02 v1 图形学
摘要
空间变化双向反射分布函数（SVBRDF）对于设计者在虚拟场景中融入新材料以使其更逼真至关重要。SVBRDF的重建是一个长期存在的问题。现有方法要么依赖庞大的采集系统，要么需要难以获取的海量数据集。我们的目标是在无任何数据集的情况下从单幅图像恢复SVBRDF。单幅图像包含关于SVBRDF的不完整信息，使得重建任务高度不适定。在没有从数据集学到的先验知识的情况下，也很难分离由材质引起的颜色变化与由光照引起的颜色变化。本文中，我们使用无监督生成对抗神经网络（GAN）以单幅图像为输入恢复SVBRDF贴图。为了更好地分离光照效应与材质效应，我们加入材质是平稳的假设，并基于傅里叶系数引入新的损失函数以强制该平稳性。为提升效率，我们以两阶段训练网络：复用已训练模型初始化SVBRDF并基于输入图像微调。我们的方法从单幅输入照片生成高质量SVBRDF贴图，并相较先前工作提供更生动的渲染结果。两阶段训练提升了运行性能，使其比先前工作快8倍。
引用
@article{arxiv.2111.00943,
title = {SVBRDF Recovery From a Single Image With Highlights using a Pretrained Generative Adversarial Network},
author = {Tao Wen and Beibei Wang and Lei Zhang and Jie Guo and Nicolas Holzschuch},
journal= {arXiv preprint arXiv:2111.00943},
year = {2021}
}