通过半监督预训练与时序建模探索面部表情识别
计算机视觉与模式识别
2024-03-20 v2 人工智能
摘要
面部表情识别 (FER) 在计算机视觉中扮演着至关重要的角色，并在各个领域有着广泛的应用。本文旨在介绍我们为即将在 CVPR2024 上举行的第六届自然情感行为分析 (ABAW) 竞赛提出的方法。在面部表情识别任务中，FER 数据集规模有限，对表情识别模型的泛化能力构成了挑战，导致识别性能不佳。为了解决这个问题，我们采用半监督学习技术为无标签人脸数据生成表情类别伪标签。同时，我们对有标签的面部表情样本进行均匀采样，并实施去偏反馈学习策略，以解决数据集中的类别不平衡问题以及半监督学习中可能存在的数据偏差。此外，为了进一步弥补仅从静态图像中获取特征的局限性和偏差，我们引入了时序编码器 来学习并捕获相邻表情图像特征之间的时序关系。在第六届 ABAW 竞赛中，我们的方法在官方验证集上取得了出色的结果，这一结果充分证实了我们所提方法的有效性与竞争力。
引用
@article{arxiv.2403.11942,
title = {Exploring Facial Expression Recognition through Semi-Supervised Pretraining and Temporal Modeling},
author = {Jun Yu and Zhihong Wei and Zhongpeng Cai and Gongpeng Zhao and Zerui Zhang and Yongqi Wang and Guochen Xie and Jichao Zhu and Wangyuan Zhu},
journal= {arXiv preprint arXiv:2403.11942},
year = {2024}
}