CATFace：用于低质量人脸识别的跨属性引导 Transformer 与自注意力蒸馏
计算机视觉与模式识别
2024-01-09 v1
摘要
尽管人脸识别 (FR) 在近年来取得了巨大成功，但由于面部细节模糊，在低质量图像中准确识别人脸仍然具有挑战性。然而，在处理低质量图像时，对特定的软生物特征 (SB) 属性（如性别和秃顶）进行预测通常是可行的。在本文中，我们提出了一种新颖的多分支神经网络，利用 SB 属性信息来提升 FR 的性能。为此，我们提出了一个跨属性引导 Transformer 融合 (CATF) 模块，该模块能有效捕捉远程依赖关系以及 FR 和 SB 特征表示之间的关系。所提出的 CATF 模块在双重交叉注意力操作中通过信息的双向流动所产生的协同作用增强了 FR 的性能。此外，我们引入了一种新颖的自注意力蒸馏框架，通过在特征空间中将低质量图像与其高质量对应图像对齐，有效突出了关键面部区域（如 landmarks）。所提出的自注意力蒸馏正则化我们的网络，使其在无约束环境中学习统一的质不变特征表示。我们在质量各异的各种 FR 基准上进行了大量实验。实验结果表明，与 state-of-the-art 的 FR 研究相比，我们的 FR 方法具有优越性。
引用
@article{arxiv.2401.03037,
title = {CATFace: Cross-Attribute-Guided Transformer with Self-Attention Distillation for Low-Quality Face Recognition},
author = {Niloufar Alipour Talemi and Hossein Kashiani and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:2401.03037},
year = {2024}
}
备注
Accepted in IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM), 2024