基于情感到中性变换的知识增强型面部表情识别
计算机视觉与模式识别
2024-09-16 v1
摘要
现有的面部表情识别（FER）方法通常使用离散标签微调预训练的视觉编码器。然而，这种监督形式限制了不同面部表情情感概念的指定。在本文中，我们观察到由视觉语言模型生成的文本嵌入中的丰富知识是学习判别性面部表情表示的一种有前景的替代方案。受此启发，我们提出了一种新颖的基于情感到中性变换的知识增强型FER方法。具体来说，我们将FER问题表述为一个匹配面部表情表示与文本嵌入之间相似度的过程。然后，通过模拟从文本面部表情到文本中性的嵌入差异，将面部表情表示变换为中性表示。最后，引入一个自对比目标，使面部表情表示更接近文本面部表情，同时使其远离中性表示。我们使用包括ResNet-18和Swin-T在内的多种预训练视觉编码器在四个具有挑战性的面部表情数据集上进行了评估。大量实验表明，我们的方法显著优于最先进的FER方法。代码将公开提供。
引用
@article{arxiv.2409.08598,
title = {Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation},
author = {Hangyu Li and Yihan Xu and Jiangchao Yao and Nannan Wang and Xinbo Gao and Bo Han},
journal= {arXiv preprint arXiv:2409.08598},
year = {2024}
}