用于人脸超分辨率的边缘与身份保持网络
计算机视觉与模式识别
2021-04-01 v2 图像与视频处理
摘要
人脸超分辨率（SR）已成为视频监控与识别系统等安全解决方案中不可或缺的功能，但面部组件的失真仍是其中的巨大挑战。多数最先进方法已利用带深度神经网络的面部先验。这些方法需要额外标签、更长训练时间与更大计算内存。本文中，我们提出一种新颖的用于人脸 SR 的边缘与身份保持网络，命名为 EIPNet，通过轻量级边缘块与身份信息来最小化失真。我们提出一个边缘块以提取感知边缘信息，并将其以多尺度拼接至原始特征图。该结构在重建中逐步提供边缘信息以聚合局部与全局结构信息。此外，我们定义身份损失函数以保持 SR 图像的识别性。该身份损失函数比较 SR 图像与其真值之间的特征分布以恢复 SR 图像中的身份。另外，我们提供亮度-色度误差（LCE）以分别推断 SR 图像中的亮度与颜色信息。LCE 方法不仅通过分离亮度与颜色分量降低了对颜色信息的依赖，还使我们的网络能反映 SR 图像与其真值在 RGB 与 YUV 两个颜色空间中的差异。所提方法促使所提 SR 网络以轻量级网络结构精细修复面部组件并生成高质量 8 倍放大 SR 图像。此外，我们的网络能在 GTX 1080Ti GPU 上以 215 fps 重建 128x128 SR 图像。大量实验表明，我们的网络在 CelebA 与 VGGFace2 两个具挑战性数据集上定性定量均优于最先进方法。
引用
@article{arxiv.2008.11977,
title = {Edge and Identity Preserving Network for Face Super-Resolution},
author = {Jonghyun Kim and Gen Li and Inyong Yun and Cheolkon Jung and Joongkyu Kim},
journal= {arXiv preprint arXiv:2008.11977},
year = {2021}
}
备注
Neurocomputing'2021