利用辅助面部属性从肖像中恢复人脸
计算机视觉与模式识别
2019-04-09 v1
摘要
从艺术肖像中恢复照片级真实人脸是一项具有挑战性的任务，因为关键的面部细节常在艺术构图中被扭曲或完全丢失。为应对这种丢失，我们提出一种利用属性的肖像人脸恢复方法（AFRP），其使用一个面部恢复网络（FRN）和一个判别网络（DN）。FRN 由一个带有残差块嵌入跳跃连接的自编码器组成，并将面部属性向量在自编码器瓶颈处融入输入肖像的特征图中。DN 具有多个卷积层和全连接层，其作用是迫使 FRN 生成具有由输入属性向量指定的相应面部属性的真实人脸图像。为保持身份，我们令恢复人脸与真实人脸共享相似的视觉特征。具体而言，DN 判断恢复图像是否看起来像真实人脸，并检查从恢复图像中提取的面部属性是否与给定属性一致。我们的方法能从未见过的风格化肖像、艺术绘画和手绘草图中恢复具有所需属性的照片级真实且保持身份的人脸。在大规模合成与草图数据集上，我们证明了我们的面部恢复方法取得了最先进（SOTA）的结果。
引用
@article{arxiv.1904.03612,
title = {Recovering Faces from Portraits with Auxiliary Facial Attributes},
author = {Fatemeh Shiri and Xin Yu and Fatih Porikli and Richard Hartley and Piotr Koniusz},
journal= {arXiv preprint arXiv:1904.03612},
year = {2019}
}
备注
2019 IEEE Winter Conference on Applications of Computer Vision (WACV)