FaceFormer：基于Transformer的尺度感知盲脸修复
计算机视觉与模式识别
2022-07-21 v1
摘要
盲脸修复通常会遇到多样化的尺度人脸输入，尤其是在真实世界中。然而，当前大多数工作仅支持特定尺度的人脸，这限制了其在真实场景中的应用能力。在本工作中，我们提出了一种新颖的尺度感知盲脸修复框架，名为FaceFormer，其将人脸特征修复表述为尺度感知变换。所提出的面部特征上采样（FFUP）模块基于原始尺度因子先验动态生成上采样滤波器，使我们的网络能够适应任意人脸尺度。此外，我们进一步提出了面部特征嵌入（FFE）模块，该模块利用transformer分层提取人脸隐变量的多样性与鲁棒性。因此，我们的FaceFormer实现了保真且鲁棒的修复人脸，其具有真实且对称的人脸部件细节。大量实验表明，我们使用合成数据集训练的方法比当前最先进方法更好地泛化到自然低质量图像。
引用
@article{arxiv.2207.09790,
title = {FaceFormer: Scale-aware Blind Face Restoration with Transformers},
author = {Aijin Li and Gen Li and Lei Sun and Xintao Wang},
journal= {arXiv preprint arXiv:2207.09790},
year = {2022}
}