利用图卷积网络挖掘情绪模型间依赖关系的人脸表情识别
计算机视觉与模式识别
2023-12-08 v2
摘要
过去几年中，深度学习方法在许多与人脸相关的任务中取得了显著成果，包括真实场景下面部表情自动识别（FER）。同时，心理学界提出了大量描述人类情绪状态的模型。然而，我们尚不清楚哪种表征更为合适，且大多数 FER 系统要么使用分类情绪模型，要么使用维度情绪模型。受多标签分类近期工作的启发，本文提出一种新颖的多任务学习（MTL）框架，利用图卷积网络（GCN）挖掘这两种模型之间的依赖关系，以在真实场景下识别面部表情。具体而言，在 MTL 设定下为离散与连续识别学习共享特征表征。此外，通过显式捕捉二者依赖关系的 GCN 来学习面部表情分类器与效价-唤醒回归器。为评估方法在真实条件下的性能，我们在 AffectNet 与 Aff-Wild2 数据集上进行了大量实验。实验结果表明，我们的方法能够跨不同数据集与骨干架构提升性能。最后，我们在 AffectNet 的分类模型上也超越了以往的 SOTA 方法。
引用
@article{arxiv.2106.03487,
title = {Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition},
author = {Panagiotis Antoniadis and Panagiotis P. Filntisis and Petros Maragos},
journal= {arXiv preprint arXiv:2106.03487},
year = {2023}
}
备注
9 pages, 8 figures, 5 tables, revised submission to the 16th IEEE International Conference on Automatic Face and Gesture Recognition