面向人脸超分辨率的空间注意力学习

通用图像超分辨率技术在应用于低分辨率人脸图像时，难以恢复精细的人脸结构。近期基于深度学习的面向人脸图像的方法通过与人脸解析和关键点预测等额外任务联合训练，取得了更好的性能。然而，多任务学习需要额外的手动标注数据。此外，现有大多数工作只能生成相对较低分辨率的人脸图像（如 $128\times128$），因此其应用受到限制。本文中，我们提出了一种基于新提出的面部注意力单元（FAU）构建的新型空间注意力残差网络（SPARNet）用于人脸超分辨率。具体而言，我们在普通残差块中引入了空间注意力机制。这使得卷积层能够自适应地增强与关键人脸结构相关的特征，而较少关注那些特征较少的区域。由于关键人脸结构仅占人脸图像的很小一部分，这使得训练更加有效和高效。注意力图的可视化表明，我们的空间注意力网络即使对极低分辨率人脸（如 $16\times16$）也能很好地捕捉关键人脸结构。在各种指标（包括 PSNR、SSIM、身份相似度和关键点检测）上的定量比较证明了我们的方法优于当前最先进方法。我们进一步将 SPARNet 扩展为多尺度判别器版本，称为 SPARNetHD，以生成高分辨率结果（即 $512\times512$）。我们表明，使用合成数据训练的 SPARNetHD 不仅能为合成退化的图像生成高质量高分辨率输出，还对真实世界低质量人脸图像表现出良好的泛化能力。