基于对比学习的视角不变面部表情识别表征学习
计算机视觉与模式识别
2023-11-14 v1
摘要
尽管面部表情识别(FER)领域已取得诸多进展,现有方法在应对捕获视角为非正面且与训练过程所用视角差异显著的图像时往往表现不佳。本文提出ViewFX,一种基于对比学习的新型视角不变FER框架,能够在推理时无论输入视角如何均可准确分类面部表情。ViewFX利用所提出的自监督对比损失学习表情的视角不变特征,该损失将同一主体具有特定表情的不同视角在嵌入空间中聚集在一起。我们还引入监督对比损失,将每种表情学到的视角不变特征推离其他表情。由于面部表情在所学特征空间中常以极其细微的差异区分,我们引入Barlow twins损失以降低所学表征中的冗余与相关性。所提方法是对我们此前提出的仅含自监督损失的CL-MEx的实质性扩展。我们在两个公开多视角面部表情识别数据集KDEF和DDCF上测试了该框架。实验表明,我们的方法优于该领域已有工作,并在两个数据集上均刷新了最先进水平,同时对挑战性视角和训练所用输出标签数量表现出明显更低的敏感性。我们还进行了详细的敏感性和消融实验,以评估模型各组成部分的影响及其对不同参数的敏感性。
引用
@article{arxiv.2311.06852,
title = {Contrastive Learning of View-Invariant Representations for Facial Expressions Recognition},
author = {Shuvendu Roy and Ali Etemad},
journal= {arXiv preprint arXiv:2311.06852},
year = {2023}
}
备注
Accepted in ACM Transactions on Multimedia Computing, Communications, and Applications