TANet：一种基于Transformer-CNN聚合网络的全局人脸超分辨率新范式
计算机视觉与模式识别
2021-09-20 v1
摘要
近年来，人脸超分辨率（FSR）方法或将整张人脸图像输入卷积神经网络（CNNs），或利用额外的人脸先验（如人脸解析图、人脸关键点）来关注面部结构，从而在恢复人脸细节的同时保持面部结构的一致性。然而，CNN有限的感受野和不准确的人脸先验会降低重建人脸的自然度与保真度。本文中，我们提出一种基于自注意力机制（即Transformer的核心）的新范式，以充分挖掘面部结构特征的表征能力。具体而言，我们设计了一个Transformer-CNN聚合网络（TANet），其由两条路径组成：一条路径使用CNN负责恢复细粒度人脸细节，另一条路径利用资源友好的Transformer通过长距离视觉关系建模来捕获全局信息。通过聚合上述两条路径的特征，全局人脸结构的一致性与局部人脸细节恢复的保真度同时得到增强。人脸重建与识别的实验结果验证了所提方法显著优于当前最优（SOTA）方法。
引用
@article{arxiv.2109.08174,
title = {TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network},
author = {Yuanzhi Wang and Tao Lu and Yanduo Zhang and Junjun Jiang and Jiaming Wang and Zhongyuan Wang and Jiayi Ma},
journal= {arXiv preprint arXiv:2109.08174},
year = {2021}
}
备注
9 pages, 5 figures