真实世界人脸的超分辨率

真实低分辨率（LR）人脸图像包含的退化过于多样和复杂，无法被已知的降采样核与信号无关噪声所刻画。因此，为成功地对真实人脸进行超分辨率（SR），方法需要对大范围噪声、模糊、压缩伪影等具有鲁棒性。近期一些工作尝试使用生成对抗网络（GAN）从真实图像数据集建模这些退化。它们生成合成退化的 LR 图像，并将其与对应的真实高分辨率（HR）图像一起，利用像素级损失与对抗损失的组合训练 SR 网络。本文中，我们提出一种双模块超分辨率网络，其中特征提取器模块从 LR 图像提取鲁棒特征，SR 模块仅利用这些鲁棒特征生成 HR 估计。我们训练一个退化 GAN 将双三次降采样的干净图像转换为真实退化图像，并在所得退化 LR 图像与其干净 LR 对应图像之间插值。该插值后的 LR 图像随后与其对应 HR 图像一起用于端到端训练超分辨率网络。使用熵正则化 Wasserstein 散度迫使从干净与退化图像学习到的编码特征与从插值图像提取的特征紧密相似，以确保鲁棒性。