由3D人脸先验引导的人脸超分辨率
计算机视觉与模式识别
2020-07-21 v1 人工智能
机器学习
图像与视频处理
摘要
最先进的人脸超分辨率方法采用深度卷积神经网络，通过挖掘局部外观知识来学习低分辨率与高分辨率人脸模式之间的映射。然而，这类方法大多未能充分利用人脸结构与身份信息，且难以处理具有大幅姿态变化的人脸图像。本文提出一种新颖的人脸超分辨率方法，显式地引入能够把握清晰人脸结构的3D人脸先验。我们的工作是首个基于人脸属性（如身份、面部表情、纹理、光照与人脸姿态）参数化描述融合来探索3D可变形知识的方法。此外，这些先验可轻松嵌入任意网络，并能极高效地提升性能并加速收敛。首先，建立3D人脸渲染分支以获取显著人脸结构与身份知识的3D先验。其次，使用空间注意力模块更好地利用该层次化信息（即强度相似性、3D人脸结构与身份内容）以解决超分辨率问题。大量实验表明，所提出的3D先验取得了优于最先进方法的人脸超分辨率结果。
引用
@article{arxiv.2007.09454,
title = {Face Super-Resolution Guided by 3D Facial Priors},
author = {Xiaobin Hu and Wenqi Ren and John LaMaster and Xiaochun Cao and Xiaoming Li and Zechao Li and Bjoern Menze and Wei Liu},
journal= {arXiv preprint arXiv:2007.09454},
year = {2020}
}
备注
Accepted as a spotlight paper, European Conference on Computer Vision 2020 (ECCV)