多视角面部表情的自监督对比学习
计算机视觉与模式识别
2021-08-17 v1 机器学习
摘要
面部表情识别（FER）已成为人机交互系统的重要组成部分。尽管FER近期取得进展，其对非正面面部图像的性能常显著下降。我们提出多视角面部表情对比学习（CL-MEx）以利用同时从不同角度捕获的面部图像进行FER。CL-MEx是一个两步训练框架。第一步中，编码器网络以所提自监督对比损失进行预训练，学习为同一主体的不同视角生成视角不变嵌入。随后模型在监督设置下用标注数据微调。我们在两个多视角FER数据集KDEF与DDCF上展示了所提方法的性能，取得了最先进表现。进一步实验表明我们的方法在处理挑战性角度与减少标注数据量时的鲁棒性。
引用
@article{arxiv.2108.06723,
title = {Self-supervised Contrastive Learning of Multi-view Facial Expressions},
author = {Shuvendu Roy and Ali Etemad},
journal= {arXiv preprint arXiv:2108.06723},
year = {2021}
}
备注
Accepted by 23rd ACM International Conference on Multimodal Interaction (ICMI 2021)