W-Net:一种面部特征引导的人脸超分辨率网络
计算机视觉与模式识别
2024-06-25 v3
摘要
人脸超分辨率旨在从低分辨率人脸图像中恢复高分辨率人脸图像。尽管卷积神经网络在人脸超分辨率方面取得了进展,但由于其重建效率低且对先验信息的利用不足,现有方法的结果并不理想。考虑到人脸是高度结构化的对象,有效利用面部先验来改善人脸超分辨率结果是一项值得努力的工作。本文提出了一种名为 W-Net 的新型网络架构来应对这一挑战。W-Net 利用精心设计的解析块来充分挖掘低分辨率图像的分辨率潜力。我们使用这个解析图作为注意力先验,有效地整合了解析图和低分辨率图像的信息。同时,我们通过 W 形网络结构结合低分辨率-解析图融合模块,在各种维度上进行多次融合。此外,我们利用面部解析图作为掩码,为关键面部区域分配不同的权重和损失函数,以平衡我们重建的面部图像在感知质量和像素精度之间的性能。我们进行了广泛的对比实验,不仅限于传统的人脸超分辨率指标,还扩展到下游任务,如人脸识别和人脸关键点检测。实验表明,W-Net 在定量指标、视觉质量和下游任务方面均表现出色。
引用
@article{arxiv.2406.00676,
title = {W-Net: A Facial Feature-Guided Face Super-Resolution Network},
author = {Hao Liu and Yang Yang and Yunxia Liu},
journal= {arXiv preprint arXiv:2406.00676},
year = {2024}
}
备注
15 pages,9 figures