面向结构化遮挡下面部补全的解耦与融合网络学习
计算机视觉与模式识别
2017-12-14 v1
摘要
面部补全旨在为缺失的面部组件生成语义上的新像素。由于面部外观的大幅变化，这是一项具有挑战性的生成任务。本文研究结构化遮挡下的生成式面部补全。我们将面部补全与损坏视为干净人脸与遮挡的解耦与融合过程，并提出一种联合解耦与融合生成对抗网络(DF-GAN)。首先，构建三个域，分别对应遮挡人脸、干净人脸和结构化遮挡的分布。解耦与融合过程被表述为三域间的变换。随后构建解耦与融合网络以从非配对数据中学习这些变换，其中采用编码器-解码器结构，使DF-GAN能够通过修改潜在表示来模拟结构化遮挡。最后，解耦与融合过程被统一至双重学习框架中，并辅以对抗策略。所提方法在Meshface验证问题上评估。在四个Meshface数据库上的实验结果证明了我们的方法在结构化遮挡下面部补全的有效性。
引用
@article{arxiv.1712.04646,
title = {Learning Disentangling and Fusing Networks for Face Completion Under Structured Occlusions},
author = {Zhihang Li and Yibo Hu and Ran He},
journal= {arXiv preprint arXiv:1712.04646},
year = {2017}
}
备注
Submitted to CVPR 2018