CTCNet：一种用于人脸图像超分辨率的 CNN-Transformer 协作网络
计算机视觉与模式识别
2023-03-24 v3
摘要
近来，由深度卷积神经网络(CNN)引导的人脸超分辨率方法通过结合人脸先验联合训练，在恢复退化面部细节方面取得很大进展。然而，这些方法存在一些明显局限。一方面，多任务联合学习需对数据集额外标注，且引入的先验网络会显著增加模型计算开销。另一方面，CNN 有限的感受野会降低重建人脸图像的保真度与自然度，导致次优重建结果。本工作中，我们提出一种高效的 CNN-Transformer 协作网络(CTCNet)用于人脸超分辨率任务，其以多尺度连接编码器-解码器架构为骨干。具体而言，我们首先设计一种新颖的局部-全局特征协作模块(LGCM)，由人脸结构注意力单元(FSAU)与 Transformer 块组成，以同时促进局部面部细节与全局人脸结构恢复的一致性。接着，设计高效的特征精炼模块(FRM)以增强编码特征。最后，为进一步改善精细面部细节的恢复，提出多尺度特征融合单元(MFFU)自适应融合编码过程中不同阶段的特征。在多个数据集上的充分评估表明，所提 CTCNet 可显著优于其他 SOTA 方法。源代码将发布于 https://github.com/IVIPLab/CTCNet。
引用
@article{arxiv.2204.08696,
title = {CTCNet: A CNN-Transformer Cooperation Network for Face Image Super-Resolution},
author = {Guangwei Gao and Zixiang Xu and Juncheng Li and Jian Yang and Tieyong Zeng and Guo-Jun Qi},
journal= {arXiv preprint arXiv:2204.08696},
year = {2023}
}
备注
IEEE Transactions on Image Processing, 12 figures, 9 tables