PAM：面向姿态不变人脸识别的姿态注意力模块
计算机视觉与模式识别
2021-11-24 v1
摘要
姿态变化是人脸识别中的关键挑战之一。传统技术主要聚焦于图像空间中的人脸正向化或人脸增强。然而，在图像空间中对人脸图像进行变换并不能保证保留原始图像的无损身份特征。此外，由于额外的模型，这些方法承受更高的计算成本与内存需求。我们认为，在分层特征空间而非图像空间中进行特征变换更为可取，这可利用不同特征层级并受益于与表示学习的联合学习。为此，我们提出一种轻量且易实现的注意力块，称为姿态注意力模块（Pose Attention Module, PAM），用于姿态不变人脸识别。具体而言，PAM 通过软门机制学习姿态变化间的残差，在分层特征空间中执行正向-侧面特征变换。我们通过大量消融研究验证了 PAM 块设计的有效性，并在包括 LFW、CFP-FP、AgeDB-30、CPLFW 和 CALFW 在内的多个流行基准上核实了性能。实验结果表明，我们的方法不仅优于当前最优（state-of-the-art）方法，还将内存需求有效降低了 75 倍以上。值得注意的是，我们的方法并不限于大姿态变化下的人脸识别。通过将 PAM 的软门机制调整为特定系数，此类语义注意力块可轻松扩展以解决人脸识别中其他类内不平衡问题，包括年龄、光照、表情等方面的较大变化。
引用
@article{arxiv.2111.11940,
title = {PAM: Pose Attention Module for Pose-Invariant Face Recognition},
author = {En-Jung Tsai and Wei-Chang Yeh},
journal= {arXiv preprint arXiv:2111.11940},
year = {2021}
}
备注
10 pages, 5 figures