SuperFront：从低分辨率到高分辨率正脸合成
计算机视觉与模式识别
2020-12-09 v1
摘要
随着深度学习主题的不断深入，人脸旋转及其他基于人脸的生成任务的进展日益频繁。尽管在人脸合成方面已取得了令人瞩目的里程碑，但在实际应用中保留身份的重要性仍不容忽视。此外，对于具有遮挡、大姿态和低质量的数据，其难度也不应增加。现有方法往往关注姿态变化的样本，但假设数据质量很高。我们提出一种基于生成对抗网络（GAN）的模型，可从一张或多张具有极端姿态的低分辨率（LR）人脸生成高质量且保留身份的正脸。具体而言，我们提出 SuperFront-GAN（SF-GAN），从一对多不同姿态的 LR 人脸合成高分辨率（HR）正脸并保留身份。我们将一个超分辨率（SR）侧脸模块集成到 SF-GAN 中，以在 HR 空间中保留侧脸的身份信息与精细细节，这有助于模型重建人脸的高频信息（即眼周、鼻子和嘴部区域）。此外，SF-GAN 接受多张 LR 人脸作为输入，并随着每个新增样本而提升性能。我们在生成器中引入正交约束以惩罚冗余的潜在表示，从而进一步榨取性能增益并使学习到的特征空间多样化。定量与定性结果证明了 SF-GAN 相较于其他方法的优越性。
引用
@article{arxiv.2012.04111,
title = {SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis},
author = {Yu Yin and Joseph P. Robinson and Songyao Jiang and Yue Bai and Can Qin and Yun Fu},
journal= {arXiv preprint arXiv:2012.04111},
year = {2020}
}