Rotate-and-Render：基于单视图图像的无监督逼真人脸旋转
计算机视觉与模式识别
2020-03-19 v1 图形学
机器学习
摘要
尽管人脸旋转在近年来取得了快速进展，高质量配对训练数据的缺乏仍是现有方法的巨大障碍。当前的生成模型严重依赖包含同一人多视角图像的数据集。因此，它们生成的结果受限于数据源的规模与领域。为克服这些挑战，我们提出了一种新颖的无监督框架，仅使用野外单视图图像集合即可合成照片级真实感的旋转人脸。我们的核心见解是：在 3D 空间中来回旋转人脸并将其重新渲染至 2D 平面，可作为强自监督信号。我们利用近期 3D 人脸建模与高分辨率 GAN 的进展来构建基础模块。由于对人脸的 3D 旋转-渲染可应用于任意角度且不丢失细节，我们的方法极适用于野外场景（即无可用配对数据），而现有方法在此情形下表现不足。大量实验表明，在多种姿态与领域下，我们的方法相较于最先进方法具有更优的合成质量与身份保持能力。此外，我们验证了我们的旋转-渲染框架天然可作为有效的数据增强引擎，即便在强基线模型上也能提升现代人脸识别系统。
引用
@article{arxiv.2003.08124,
title = {Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images},
author = {Hang Zhou and Jihao Liu and Ziwei Liu and Yu Liu and Xiaogang Wang},
journal= {arXiv preprint arXiv:2003.08124},
year = {2020}
}
备注
To appear in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. Code and models are available at: https://github.com/Hangz-nju-cuhk/Rotate-and-Render