学习扭曲引导用于盲人脸修复
计算机视觉与模式识别
2018-04-17 v2
摘要
本文研究从不受约束的模糊、含噪、低分辨率或压缩图像（即退化观测）中进行盲人脸修复的问题。为更好地恢复精细面部细节，我们改进问题设定，将退化观测与同一身份的高质量引导图像共同作为引导人脸修复网络（GFRNet）的输入。然而，退化观测与引导图像通常在姿态、光照和表情上不同，使得普通 CNN（如 U-Net）无法恢复精细且具身份感知的面部细节。为解决此问题，我们的 GFRNet 模型包含扭曲子网络（WarpNet）与重建子网络（RecNet）。WarpNet 用于预测流场以扭曲引导图像来校正姿态与表情（即扭曲引导），而 RecNet 以退化观测与扭曲引导为输入生成修复结果。由于真实流场不可用，引入 landmark 损失与全变分正则化来指导 WarpNet 的学习。此外，为使模型适用于盲修复，我们的 GFRNet 在具有模糊核、噪声水平、下采样尺度因子和 JPEG 质量因子等多种设定的合成数据上训练。实验表明，我们的 GFRNet 不仅优于 SOTA 图像与人脸修复方法，还能在真实退化人脸图像上生成视觉上逼真的结果。
引用
@article{arxiv.1804.04829,
title = {Learning Warped Guidance for Blind Face Restoration},
author = {Xiaoming Li and Ming Liu and Yuting Ye and Wangmeng Zuo and Liang Lin and Ruigang Yang},
journal= {arXiv preprint arXiv:1804.04829},
year = {2018}
}
备注
25 pages, 14 figures and 1 table