基于多尺度 GAN 从人脸掩码幻构上下文与背景像素
计算机视觉与模式识别
2020-01-14 v3
摘要
我们提出一种多尺度 GAN 模型，从单个输入人脸掩码自动幻构出真实的上下文（额头、头发、脖子、衣服）与背景像素。与将人脸替换到已有图片上不同，我们的模型直接基于所提供人脸掩码的特征生成真实的上下文与背景像素。与人脸修复算法不同，即使对大量缺失像素它也能生成真实的幻构结果。我们的模型由级联的 GAN 块网络组成，每个块负责在特定分辨率下幻构缺失像素，同时引导下一个 GAN 块的合成过程。通过在网络每个块联合使用重建、感知、对抗和身份保持损失，使幻构出的全脸图像具有照片真实感。通过一组广泛实验，我们证明了我们的模型在从姿态、表情和光照各异、且来自与训练数据无交集的多个数据集的人脸掩码中幻构上下文与背景像素的有效性。我们还从视觉质量和识别性能两方面将我们的方法与两种流行的换脸和人脸补全方法进行比较。此外，我们分析级联流水线，并与近期提出的渐进式增长 GAN 进行比较。
引用
@article{arxiv.1811.07104,
title = {On Hallucinating Context and Background Pixels from a Face Mask using Multi-scale GANs},
author = {Sandipan Banerjee and Walter J. Scheirer and Kevin W. Bowyer and Patrick J. Flynn},
journal= {arXiv preprint arXiv:1811.07104},
year = {2020}
}
备注
Extended version of WACV 2020 paper