Deep CG2Real：通过图像解耦实现合成到真实图像的转换
计算机视觉与模式识别
2020-03-31 v1
摘要
我们提出一种提升低质量合成图像（如 OpenGL 渲染图）视觉真实感的方法。在图像空间训练无配对合成到真实转换网络约束严重不足并产生可见伪影。相反，我们提出一种在图像解耦的阴影层和反照率层上运行的半监督方法。我们的两阶段流程首先以有监督方式利用基于物理的渲染作为目标学习预测准确阴影，随后通过改进的 CycleGAN 网络进一步提升纹理与阴影的真实感。在 SUNCG 室内场景数据集上的大量评估表明，与其他最先进（SOTA）方法相比，我们的方法生成更真实的图像。此外，在我们生成的“真实”图像上训练的网络比域适应方法预测更准确的深度与法线，这表明提升图像视觉真实感可能比强加任务特定损失更有效。
引用
@article{arxiv.2003.12649,
title = {Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement},
author = {Sai Bi and Kalyan Sunkavalli and Federico Perazzi and Eli Shechtman and Vladimir Kim and Ravi Ramamoorthi},
journal= {arXiv preprint arXiv:2003.12649},
year = {2020}
}
备注
Accepted to ICCV 2019