复制粘贴 GAN：基于阴影缩略图的人脸幻构
计算机视觉与模式识别
2020-03-20 v3
摘要
现有基于卷积神经网络（CNN）的人脸幻构方法在常规光照条件下的低分辨率（LR）人脸上取得了令人印象深刻的性能。然而，当 LR 人脸在低光照或非均匀光照条件下捕获时，其性能急剧下降。本文提出一种复制粘贴生成对抗网络（Copy and Paste Generative Adversarial Network, CPGAN），在补偿低光照与非均匀光照的同时恢复真实的高分辨率（HR）人脸图像。为此，我们在 CPGAN 中开发了关键的两部分：内部与外部复制粘贴网络（CPnet）。具体而言，我们的内部 CPnet 利用输入图像中存在的面部信息增强面部细节；而外部 CPnet 借助外部 HR 人脸进行光照补偿。由此开发了一种新的光照补偿损失，以有效从外部引导人脸图像中捕获光照。此外，我们的方法以由粗到细的方式交替偏移光照与上采样面部细节，从而缓解 LR 输入与外部 HR 输入间的对应歧义。大量实验表明，我们的方法在均匀光照条件下呈现出真实的 HR 人脸图像，并在定性与定量上优于最先进的方法。
引用
@article{arxiv.2002.10650,
title = {Copy and Paste GAN: Face Hallucination from Shaded Thumbnails},
author = {Yang Zhang and Ivor Tsang and Yawei Luo and Changhui Hu and Xiaobo Lu and Xin Yu},
journal= {arXiv preprint arXiv:2002.10650},
year = {2020}
}
备注
CVPR2020 (oral) preprint