GCFSR：一种无需人脸与GAN先验的生成式可控人脸超分辨率方法
计算机视觉与模式识别
2022-03-15 v1
摘要
人脸图像超分辨率（人脸幻构）通常依赖人脸先验来恢复逼真细节并保留身份信息。近期进展可借助GAN先验取得令人印象深刻的成果。它们要么设计复杂模块来修改固定的GAN先验，要么采用复杂训练策略来微调生成器。在这项工作中，我们提出一种名为GCFSR的生成式可控人脸超分辨率框架，它无需任何额外先验即可重建具有保真身份信息的人脸图像。一般而言，GCFSR具有编码器-生成器架构。为多因子超分辨率任务设计了风格调制与特征调制两个模块。风格调制旨在生成逼真人脸细节，特征调制则基于上采样因子条件动态融合多级编码特征与生成特征。这一简洁优雅的架构可从零开始以端到端方式训练。对于较小上采样因子（<=8），GCFSR仅用对抗损失即可产生令人惊喜的良好结果。在加入L1与感知损失后，GCFSR在较大上采样因子（16、32、64）上可超越现有最优方法。在测试阶段，我们可通过连续改变条件上采样因子来经由特征调制调节生成强度，从而实现多种生成效果。
引用
@article{arxiv.2203.07319,
title = {GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors},
author = {Jingwen He and Wu Shi and Kai Chen and Lean Fu and Chao Dong},
journal= {arXiv preprint arXiv:2203.07319},
year = {2022}
}
备注
Accepted by CVPR2022