基于分裂注意力网络中的分裂注意力实现人脸幻觉
计算机视觉与模式识别
2021-07-08 v3
摘要
近年来，卷积神经网络（CNNs）因能从大量样本中预测高频细节的能力而被广泛用于提升人脸幻觉。然而，它们大多未能同时考虑整体面部轮廓与精细纹理细节，导致重建人脸的自然度与保真度下降，并进一步损害下游任务（如人脸检测、人脸识别）的性能。为解决此问题，我们提出一种新颖的外-内分裂注意力组（ESAG），其包含分别负责面部结构信息与面部纹理细节的两条路径。通过融合这两条路径的特征，面部结构的一致性与面部细节的保真度同时得到增强。接着，我们提出分裂注意力在分裂注意力网络（SISN）中，通过级联多个 ESAG 来重建照片级真实感的高分辨率人脸图像。在人脸幻觉与人脸识别上的实验结果表明，所提方法不仅显著提升了幻觉人脸的清晰度，还大幅促进了后续的人脸识别性能。代码已发布于 https://github.com/mdswyz/SISN-Face-Hallucination。
引用
@article{arxiv.2010.11575,
title = {Face Hallucination via Split-Attention in Split-Attention Network},
author = {Tao Lu and Yuanzhi Wang and Yanduo Zhang and Yu Wang and Wei Liu and Zhongyuan Wang and Junjun Jiang},
journal= {arXiv preprint arXiv:2010.11575},
year = {2021}
}
备注
Accepted by ACM MM 2021