通过参考单样本示例超分辨跨域人脸缩略图
计算机视觉与模式识别
2021-08-18 v2 人工智能
摘要
传统的人脸超分辨率方法通常假设测试低分辨率（LR）图像与训练图像位于同一域。由于不同的光照条件和成像硬件，在许多真实场景中训练与测试图像之间不可避免地存在域间隙。忽视这些域间隙会导致人脸超分辨率（FSR）性能下降。然而，如何高效且有效地将训练好的 FSR 模型迁移到目标域尚未被研究。为解决这个问题，我们提出了一种域感知的基于金字塔的人脸超分辨率网络，称为 DAP-FSR 网络。我们的 DAP-FSR 首次尝试仅利用目标域中的一对高分辨率（HR）与 LR 示例来超分辨来自目标域的 LR 人脸。具体而言，我们的 DAP-FSR 首先使用其编码器提取输入 LR 人脸的多尺度潜在表示。考虑到仅有一个目标域样本可用，我们提出通过混合目标域人脸与源域人脸的潜在表示来扩充目标域数据，然后将混合表示送入我们 DAP-FSR 的解码器。解码器将生成类似目标域图像风格的新人脸图像。生成的 HR 人脸反过来用于优化我们的解码器以减小域间隙。通过迭代更新潜在表示和我们的解码器，我们的 DAP-FSR 将适配目标域，从而实现真实且高质量的上采样 HR 人脸。在三个新构建的基准上的大量实验验证了我们的 DAP-FSR 相比最先进方法的的有效性与优越性能。
引用
@article{arxiv.2103.08863,
title = {Super-Resolving Cross-Domain Face Miniatures by Peeking at One-Shot Exemplar},
author = {Peike Li and Xin Yu and Yi Yang},
journal= {arXiv preprint arXiv:2103.08863},
year = {2021}
}