面向多任务面部计算的多模态特征学习与融合
计算机视觉与模式识别
2016-10-17 v1
摘要
我们提出了一种基于深度学习的特征融合方法，用于面部计算，包括人脸识别以及性别、种族和年龄检测。我们没有在面部图像上训练单一分类器，根据图像中出现的人脸特征进行分类，而是首先训练四个不同的分类器，分别基于种族、年龄、性别和身份（ID）对面部图像进行分类。然后从训练好的模型中提取多任务特征，并进行跨任务特征训练，这展示了融合从多任务中提取的多模态特征的价值。我们发现，为一个任务训练的特征可以用于其他相关任务。更有趣的是，为具有更多类别的任务（例如ID）训练的特征，然后用于类别较少的任务（例如种族），其性能优于为该任务本身训练的特征。最终的特征融合通过组合四个分类器从图像中提取的四种特征来执行。与仅在各自特征上训练的单一分类器的结果相比，该特征融合方法将ID、年龄、种族和性别识别的分类准确率分别提高了7.2%、20.1%、22.2%和21.8%。所提出的方法可应用于能够提取不同类型数据或特征的应用中。
引用
@article{arxiv.1610.04322,
title = {Learning and Fusing Multimodal Features from and for Multi-task Facial Computing},
author = {Wei Li and Zhigang Zhu},
journal= {arXiv preprint arXiv:1610.04322},
year = {2016}
}
备注
An experiment to feature fusion in deep learning