合成渲染人脸图像的高分辨率零样本域自适应
计算机视觉与模式识别
2020-06-29 v1
摘要
使用计算机图形学方法大规模生成照片级真实的人脸图像仍是一项极其困难的任务。这是因为这些方法需要光照模拟以达到照片级真实，而这又需要对头部及周围场景的几何、材质与光源进行物理精确建模。相比之下，非照片级真实渲染日益易于生成。与计算机图形学方法不同，从更易获取的2D图像数据中学得的生成模型已被证明能够产生难以与真实数据区分的人脸样本。学习过程通常对应于对生成图像形状与外观控制力的丧失。例如，即便是如独立修改头发而不改动面部这样简单的解耦任务——在计算机图形学方法中轻而易举——仍是一个开放的研究问题。在本工作中，我们提出一种算法，将非照片级真实的合成生成图像匹配至预训练StyleGAN2模型的潜向量，该模型进而将向量映射为具有相同姿态、表情、头发与光照的人物照片级真实图像。与多数先前工作不同，我们无需合成训练数据。据我们所知，这是同类中首个在1K分辨率下工作的算法，代表了视觉真实感上的显著飞跃。
引用
@article{arxiv.2006.15031,
title = {High Resolution Zero-Shot Domain Adaptation of Synthetically Rendered Face Images},
author = {Stephan J. Garbin and Marek Kowalski and Matthew Johnson and Jamie Shotton},
journal= {arXiv preprint arXiv:2006.15031},
year = {2020}
}