面向模态自适应人脸识别的域私有与域不可知特征
计算机视觉与模式识别
2020-08-11 v1
摘要
由于模态差异大且跨模态样本不足，异质人脸识别是一项具有挑战性的任务。现有大多数工作集中于判别特征变换、度量学习和跨模态人脸合成。然而，跨模态人脸总是耦合有域（模态）信息与身份信息这一事实却很少受到关注。因此，如何学习和利用域私有特征与域不可知特征以实现模态自适应人脸识别是本文工作的重点。具体而言，本文提出一种特征聚合网络（FAN），其包含解耦表示模块（DRM）、特征融合模块（FFM）和自适应惩罚度量（APM）学习过程。首先，在DRM中，专门设计了域私有网络与域不可知网络两个子网络，分别用于学习模态特征与身份特征。其次，在FFM中，身份特征与域特征相融合以实现跨模态双向身份特征变换，这在很大程度上进一步解耦了模态信息与身份信息。第三，考虑到跨模态数据集中存在难易样本对分布不平衡、增加了模型偏置风险的问题，我们的FAN中提出了带有自适应难样本对惩罚的身份保持引导度量学习。所提出的APM还保证了跨模态类内紧凑性与类间分离性。在基准跨模态人脸数据集上的大量实验表明，我们的FAN优于SOTA方法。
引用
@article{arxiv.2008.03848,
title = {Domain Private and Agnostic Feature for Modality Adaptive Face Recognition},
author = {Yingguo Xu and Lei Zhang and Qingyan Duan},
journal= {arXiv preprint arXiv:2008.03848},
year = {2020}
}
备注
Accepted by IJCB2020