基于记忆化调制的通用人脸修复

盲人脸修复（BFR）由于退化模式的不确定性而具有挑战性。本文提出一种修复与记忆化调制（RMM）框架，用于多样退化场景和异构域下的通用 BFR。我们应用随机噪声以及无监督小波记忆，在层和实例两个层面上考虑注意力反归一化，自适应地调制人脸增强生成器。具体而言，在训练阶段，低级空间特征嵌入、通过对高分辨率图像进行小波变换获得的小波记忆嵌入，以及解耦的高级噪声嵌入被整合在一起，并以由层归一化、实例归一化和原始特征图生成的注意力图作为引导。这三种嵌入分别对应于空间内容、高频纹理细节，以及针对其他盲图像退化模式的可学习通用先验。我们将低分辨率图像的空间特征及对应的小波风格码分别作为键和值存储在记忆单元中。在测试阶段，检索与推断图像的空间键最匹配的小波记忆值来调制生成器。此外，通过训练调制网络，从随机噪声中学到的通用先验已被记忆。实验结果表明，与最先进的方法相比，所提方法具有优越性，并在真实场景中表现出良好的泛化能力。