基于两级注意力的融合学习用于 RGB-D 人脸识别
计算机视觉与模式识别
2020-10-20 v3 人工智能
摘要
随着 RGB-D 传感技术的最新进展以及机器学习和融合技术的改进,RGB-D 人脸识别已成为一个活跃的研究领域。提出了一种新颖的注意力感知方法来融合 RGB 和深度两种图像模态,以增强 RGB-D 人脸识别。所提方法首先使用卷积特征提取器从两种模态中提取特征。然后使用两层注意力机制融合这些特征。第一层关注特征提取器生成的融合特征图,利用特征图之间的关系通过 LSTM 循环学习进行挖掘。第二层使用卷积关注这些图的空间特征。训练数据库通过一组几何变换进行预处理和增强,并且学习过程进一步借助来自纯 2D RGB 图像训练过程的迁移学习辅助。对比评估表明,在具有挑战性的 CurtinFaces 和 IIIT-D RGB-D 基准数据库上,所提方法优于其他最先进的方法(包括传统和基于深度神经网络的方法),分别实现了超过 98.2% 和 99.3% 的分类准确率。所提注意力机制也与其他注意力机制进行了比较,展示了更准确的结果。
引用
@article{arxiv.2003.00168,
title = {Two-Level Attention-based Fusion Learning for RGB-D Face Recognition},
author = {Hardik Uppal and Alireza Sepas-Moghaddam and Michael Greenspan and Ali Etemad},
journal= {arXiv preprint arXiv:2003.00168},
year = {2020}
}
备注
8 Pages, 4 figure, Accepted to International Conference on Pattern Recognition (ICPR) 2020