可解释图像情感识别：一种利用面部表情的域适应方法
计算机视觉与模式识别
2025-02-19 v4 机器学习
摘要
本文提出一种基于特征的域适应技术，用于识别通用图像（涵盖面部与非面部物体以及非人类成分）中的情感。该方法应对了图像情感识别（IER）中预训练模型与精标注数据集稀缺的挑战。首先，开发一个基于深度学习的面部表情识别（FER）系统，将面部图像分类为离散情感类别。保持相同网络架构，随后通过该 FER 系统并应用差异损失适应到通用图像的情感识别，使模型在学习 IER 特征的同时将情感分类为“高兴”“悲伤”“憎恨”“愤怒”等类别。此外，引入一种新颖的可解释性方法——基于分而治之的 Shap（DnCShap），以阐明与情感识别最相关的视觉特征。所提 IER 系统在 IAPSa 数据集上情感分类准确率为 61.86%，ArtPhoto 为 62.47%，FI 为 70.78%，EMOTIC 为 59.72%。该系统有效识别导致特定情感分类的重要视觉特征，并提供详细的嵌入图解释预测，增进对 AI 驱动情感识别系统的理解与信任。
引用
@article{arxiv.2011.08388,
title = {Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions},
author = {Puneet Kumar and Balasubramanian Raman},
journal= {arXiv preprint arXiv:2011.08388},
year = {2025}
}