面向盲脸修复的双记忆字典学习

为提升盲脸修复性能，近期工作主要将通用修复与特定修复两个方面分开处理。具体而言，通用修复试图通过通用面部结构先验恢复结果，但一方面由于直接CNN映射在学习盲修复上的能力有限，无法泛化到真实世界退化观测，另一方面未能利用身份特定细节。相反，特定修复旨在从同身份参考中融入身份特征，而对恰当参考的要求严重限制了应用场景。总体而言，用单一统一模型提升盲修复的照片真实感性能并自适应处理通用与特定修复场景是一项艰巨且棘手的 task。本文不直接隐式学习从低质量图像到高质量图像的映射，而是提出DMDNet，通过双字典显式记忆通用与特定特征。首先，通用字典从任意身份的高质量图像中学习通用面部先验，而特定字典为每个人单独存储其身份所属特征。其次，为处理有或无特定参考的退化输入，提出字典变换模块从双字典中读取相关细节并随后融合进输入特征。最后，利用多尺度字典以受益于由粗到细的修复。此外，构建了一个名为CelebRef-HQ的新高质量数据集，以促进高分辨率空间中特定人脸修复的探索。