使用数据增强技术在口罩遮挡下进行面部情感识别
计算机视觉与模式识别
2023-12-05 v1 人工智能
人机交互
摘要
在当前 Covid-19 大流行期间，当个体佩戴面部口罩时，使用基于 AI 的计算机视觉系统识别人类情感提出了一个新挑战。在本研究中，我们提出了一种能够从佩戴不同面部口罩的个体中识别情感的面部情感识别系统。我们利用一种新颖的数据增强技术，对每张面部图像使用四种口罩类型来提高模型的性能。我们评估了使用迁移学习训练的四种卷积神经网络 Alexnet、Squeezenet、Resnet50 和 VGGFace2 的有效性。实验结果表明，与单口罩模式相比，我们的模型在多口罩模式下工作更有效。VGGFace2 网络在使用 JAFFE 数据集时获得了最高准确率，在依赖特定人的模式下为 97.82%，在独立于特定人的模式下为 74.21%。然而，我们使用 UIBVFED 数据集评估了我们提出的模型。Resnet50 表现出优越的性能，在依赖特定人的模式下准确率为 73.68%，在独立于特定人的模式下为 59.57%。此外，我们采用了精确率、灵敏度、特异度、AUC、F1 分数和混淆矩阵等指标来详细衡量系统的效率。此外，使用 LIME 算法来可视化 CNN 的决策策略。
引用
@article{arxiv.2312.01335,
title = {Facial Emotion Recognition Under Mask Coverage Using a Data Augmentation Technique},
author = {Aref Farhadipour and Pouya Taghipour},
journal= {arXiv preprint arXiv:2312.01335},
year = {2023}
}