弥合差距：利用未标记的人脸识别数据集提升半监督面部表情识别
计算机视觉与模式识别
2024-10-24 v1
摘要
近年来，面部表情识别（FER）越来越受到关注。目前大多数工作集中在监督学习上，这需要大量标记且多样化的图像，而 FER 则面临大型、多样化数据集的稀缺和标注困难的问题。为了解决这些问题，我们专注于利用大型未标记的人脸识别（FR）数据集来提升半监督 FER。具体来说，我们首先在无标注的大规模人脸图像上进行人脸重建预训练，以学习面部几何和表情区域的特征，然后在具有有限标签的 FER 数据集上进行两阶段微调。此外，为了进一步缓解标记多样化图像的稀缺性，我们提出了一种针对人脸图像的基于 Mixup 的数据增强策略，并根据两张图像中人脸的交并比（IoU）来确定真实图像和虚拟图像的损失权重。在 RAF-DB、AffectNet 和 FERPlus 上的实验表明，我们的方法优于现有的半监督 FER 方法，并达到了新的最先进性能。值得注意的是，仅使用 5%、25% 的训练集，我们的方法在 AffectNet 上达到了 64.02%，在 RAF-DB 上达到了 88.23%，与全监督的最先进方法相当。代码将在 https://github.com/zhelishisongjie/SSFER 公开。
引用
@article{arxiv.2410.17622,
title = {Bridging the Gaps: Utilizing Unlabeled Face Recognition Datasets to Boost Semi-Supervised Facial Expression Recognition},
author = {Jie Song and Mengqiao He and Jinhua Feng and Bairong Shen},
journal= {arXiv preprint arXiv:2410.17622},
year = {2024}
}