面向人脸识别的特征聚合互信息权衡
计算机视觉与模式识别
2023-09-26 v1 机器学习
摘要
尽管人脸识别（FR）领域取得了进展，这些方法的精度仍显不足。为提升 FR 性能，本文提出一种聚合两个最先进（SOTA）深度 FR 模型（即 ArcFace 和 AdaFace）输出的技术。在我们的方法中，我们利用 transformer 注意力机制来挖掘两张特征图不同部分之间的关系。借此，我们旨在增强 FR 系统的整体判别力。特征聚合的挑战之一在于对局部与全局依赖的有效建模。传统 transformer 以捕捉长程依赖著称，但往往难以准确建模局部依赖。为克服此局限，我们增强自注意力机制以有效捕捉局部与全局依赖。这使我们的模型能够利用特征图对应位置中存在的重叠感受野。然而，融合来自不同 FR 模型的两张特征图可能会给人脸嵌入引入冗余。由于这些模型常共享相同的骨干架构，所得特征图可能包含重叠信息，从而误导训练过程。为解决这个问题，我们利用信息瓶颈原理来获得最具信息量的人脸表示。这确保聚合特征保留最相关和最具判别力的信息，同时最小化冗余或误导性细节。为评估所提方法的有效性，我们在流行基准上进行了实验，并将结果与最先进算法比较。我们在这些基准上观察到的一致提升证明了我们的方法在增强 FR 性能方面的功效。
引用
@article{arxiv.2309.13137,
title = {Trading-off Mutual Information on Feature Aggregation for Face Recognition},
author = {Mohammad Akyash and Ali Zafari and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:2309.13137},
year = {2023}
}
备注
Accepted to 22$^{nd}$ IEEE International Conference on Machine Learning and Applications 2023 (ICMLA)