基于多示例的人脸超分辨率与编辑幻构
计算机视觉与模式识别
2021-01-15 v3
摘要
给定一张极低分辨率的人脸输入图像（例如 16x16 或 8x8 像素），本文的目标是重建其高分辨率版本。这本身是一个不适定问题，因为高频信息在低分辨率输入中缺失，需要基于关于图像内容的先验知识进行幻构。本文不依赖通用人脸先验，而是探索使用一组示例图像，即同一人的其他高分辨率图像。这些示例图像在我们将输出以它们为条件时引导神经网络。多个示例比单个示例效果更好。为了有效结合来自多个示例的信息，我们引入了逐像素权重生成模块。除标准人脸超分辨率外，我们的方法允许通过用具有不同面部特征的另一个示例集替换示例来进行的细微人脸编辑。我们进行了用户研究，表明在 CelebA 数据集上超分辨率图像几乎无法与真实图像区分。定性比较表明我们的模型在 CelebA 和 WebFace 数据集上优于文献中提出的方法。
引用
@article{arxiv.2009.07827,
title = {Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing},
author = {Kaili Wang and Jose Oramas and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2009.07827},
year = {2021}
}
备注
accepted in ACCV 2020