Pro-UIGAN：从遮挡缩略图渐进式人脸幻构
计算机视觉与模式识别
2022-05-11 v6
摘要
本文研究从遮挡缩略图幻构真实高分辨率（HR）人脸的任务。我们提出一种多阶段渐进式上采样与修复生成对抗网络，称为 Pro-UIGAN，其利用人脸几何先验来补全并上采样（8*）遮挡微小人脸（16*16像素）。Pro-UIGAN 迭代地（1）估计低分辨率（LR）人脸的几何先验，并（2）在估计先验引导下获取无遮挡 HR 人脸图像。我们的多阶段幻构网络以由粗到精的方式对遮挡 LR 人脸进行超分辨率与修复，从而显著减少不期望的模糊与伪影。具体而言，我们设计了一种新颖的跨模态 transformer 模块用于人脸先验估计，其中输入人脸及其关键点特征分别作为查询与键。此类设计促进输入人脸与关键点特征间的联合特征学习，并通过注意力发现深层特征对应。因此，人脸表观特征与人脸几何先验以相互促进方式学习。大量实验表明，我们的 Pro-UIGAN 生成视觉愉悦的 HR 人脸，在下游任务（即人脸对齐、人脸解析、人脸识别与表情分类）中相较其他最先进（SotA）方法取得更优性能。
引用
@article{arxiv.2108.00602,
title = {Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails},
author = {Yang Zhang and Xin Yu and Xiaobo Lu and Ping Liu},
journal= {arXiv preprint arXiv:2108.00602},
year = {2022}
}