无需人脸关键点的示例引导人脸图像超分辨率
计算机视觉与模式识别
2019-06-18 v1
摘要
如今，由于无处不在的视觉媒体，已有大量可获取的高分辨率(HR)人脸图像。因此，对于给定某人的极低分辨率(LR)人脸图像进行超分辨率，极有可能找到该人的另一张 HR 人脸图像来引导该过程。本文中，我们提出一种基于卷积神经网络(CNN)的方案，即 GWAInet，它对人脸图像以 8 倍因子进行由同一人的另一张无约束 HR 人脸图像引导的超分辨率(SR)，该引导图像在年龄、表情、姿态或尺寸上可能存在差异。GWAInet 以对抗生成方式训练，以产生所需的高质量感知图像结果。HR 引导图像的利用通过经翘曲子网络将其内容对齐到输入图像，以及对来自翘曲后引导图像和输入图像的提取特征使用特征融合链来实现。在训练中，身份损失通过最小化 SR 与 HR 真值图像的嵌入向量间距离，进一步有助于保留身份相关特征。与当前人脸超分辨率的最优方法相反，我们的方法不需要人脸关键点进行训练，这提升了其鲁棒性，并使其能以统一方式为周围人脸区域生成精细细节。我们的方法 GWAInet 在 8 倍放大因子下生成照片级真实感图像，并在量化指标和感知质量上优于最优方法。
引用
@article{arxiv.1906.07078,
title = {Exemplar Guided Face Image Super-Resolution without Facial Landmarks},
author = {Berk Dogan and Shuhang Gu and Radu Timofte},
journal= {arXiv preprint arXiv:1906.07078},
year = {2019}
}
备注
Published in 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops