Masked Student 表情数据集
计算机视觉与模式识别
2023-04-11 v1 人机交互
摘要
面部表情识别（FER）算法在面部几乎无遮挡的受限环境中表现良好。然而，现实世界中的面部遮挡十分普遍，尤其是在当前 Covid-19 情形下需要使用口罩。尽管已有针对 FER 中遮挡问题的研究，但此前针对特定口罩场景的工作很少。此外，该领域少数研究大多使用合成生成的口罩 FER 数据集。受疫情给 FER 带来的这些挑战的推动，我们提出了一个新颖的数据集——Masked Student 表情数据集（MSD-E），包含从 142 名个体收集的 1,960 张真实世界无口罩与戴口罩面部表情图像。除面部特征被遮蔽的问题外，我们说明了口罩 FER 中其他更微妙的问题如何体现在我们的数据集中。随后我们使用 ResNet-18 提供基线结果，发现当为存在口罩的 FER 训练时，其在无口罩情形下的性能下降。为此，我们测试了两种训练范式：对比学习和知识蒸馏，发现它们提升了模型在口罩场景下的性能，同时保持了其无口罩性能。我们进一步使用 t-SNE 图和 Grad-CAM 可视化结果，表明这些范式利用了口罩场景下有限的特征。最后，我们在 MSD-E 上对 SOTA 方法进行了基准测试。
引用
@article{arxiv.2304.03867,
title = {Masked Student Dataset of Expressions},
author = {Sridhar Sola and Darshan Gera},
journal= {arXiv preprint arXiv:2304.03867},
year = {2023}
}
备注
Thirteenth Indian Conference on Computer Vision, Graphics and Image Processing, ACM, 2022, Gandhinagar, India