基于多模态迁移学习的野外动态面部情绪识别
计算机视觉与模式识别
2025-05-01 v1
摘要
面部表情识别（Facial Expression Recognition, FER）是计算机视觉的一个子领域，具有在人机交互、医疗保健和客户服务等方面的重要应用前景。FER 代表了一个具有挑战性的问题领域，因为准确的分类需要模型在面部特征的细微变化之间进行区分。本文我们考察了使用多模态迁移学习来提高在具有挑战性的基于视频的情绪识别数据集（Dynamic Facial Expression in-the-Wild, DFEW）上的性能。通过结合预训练的 ResNet、OpenPose 和 OmniVec 网络，我们探讨了跨时间、多模态特征对分类准确率的影响。最终我们发现，这些精调的多模态特征生成器在我们的基于Transformer的分类模型上 modestly 提升了准确率。
引用
@article{arxiv.2504.21248,
title = {Multi-modal Transfer Learning for Dynamic Facial Emotion Recognition in the Wild},
author = {Ezra Engel and Lishan Li and Chris Hudy and Robert Schleusner},
journal= {arXiv preprint arXiv:2504.21248},
year = {2025}
}
备注
8 pages, 6 figures