通过人脸子空间先验实现保持身份且姿态鲁棒的人脸幻觉
计算机视觉与模式识别
2021-11-23 v1
摘要
过去几十年中，人们已做出大量尝试来解决从对应低分辨率（LR）人脸图像恢复高分辨率（HR）人脸图像的问题，该任务通常被称为人脸幻觉。尽管基于位置块与基于深度学习的方法取得了令人印象深刻的性能，这类技术大多仍无法恢复人脸的身份特定特征。前一类算法常产生模糊且过度平滑的输出，尤其在退化程度较高时；而后一类生成的脸有时与输入图像中的个体毫无相似之处。本文引入一种新的人脸超分辨率方法，其中被幻觉出的人脸被强制置于由可用训练人脸张成的子空间中。因此，与大多数现有人脸幻觉技术相反，并得益于该人脸子空间先验，重建倾向于恢复个体特定面部特征，而非仅提升图像量化指标。此外，受近期三维人脸重建领域进展的启发，我们还提出了一种高效的 3D 字典对齐方案，使算法能处理非受控条件下拍摄的低分辨率人脸。在多个知名人脸数据集上开展的广泛实验中，所提算法生成了贴近真实值的细节化结果，在定量与定性评估上均以显著优势超越最先进的人脸幻觉算法。
引用
@article{arxiv.2111.10634,
title = {Identity-Preserving Pose-Robust Face Hallucination Through Face Subspace Prior},
author = {Ali Abbasi and Mohammad Rahmati},
journal= {arXiv preprint arXiv:2111.10634},
year = {2021}
}
备注
A shorter version of this paper has been submitted to IEEE Transactions on Image Processing