基于全端到端渐进式生成对抗网络的多可控属性高分辨率人脸补全
计算机视觉与模式识别
2018-01-24 v1 图形学
摘要
我们提出一种深度学习方法,用于在任意掩码下完成具有多个可控属性(如男性和微笑)的高分辨率人脸补全。人脸补全需要局部与全局地理解结构合理性与表观一致性,以填补输入图像中其他位置未出现内容的“孔洞”。这是一项具有挑战性的任务,其难度随分辨率增高、孔洞复杂度及补全片段可控属性而显著上升。我们的系统通过学习一个全端到端框架来应对挑战,该框架以编码可控属性的条件向量渐进式地从低分辨率到高分辨率训练生成对抗网络(GANs)。我们设计了新颖的网络架构以有效且高效地利用多尺度信息。我们引入了新的损失函数以促使补全锐利。我们展示系统可使用单次前向计算完成具有大结构与表观变化的人脸,对 1024 x 1024 分辨率图像平均推断时间为 0.007 秒。我们还进行了一项初步人类研究,显示我们的方法在排序分析中优于最先进(state-of-the-art)人脸补全方法。代码将在发表后发布。
引用
@article{arxiv.1801.07632,
title = {High Resolution Face Completion with Multiple Controllable Attributes via Fully End-to-End Progressive Generative Adversarial Networks},
author = {Zeyuan Chen and Shaoliang Nie and Tianfu Wu and Christopher G. Healey},
journal= {arXiv preprint arXiv:1801.07632},
year = {2018}
}