基于属性信息嵌入与跨模态对比学习的微表情识别
计算机视觉与模式识别
2022-05-31 v1 人工智能
机器学习
摘要
面部微表情识别近来备受关注。微表情具有持续时间短、强度低的特点，且现有微表情数量有限，难以训练出高性能分类器。因此，微表情识别是一项具有挑战性的任务。本文提出一种基于属性信息嵌入与跨模态对比学习的微表情识别方法。我们使用 3D CNN 提取微表情序列的 RGB 特征与 FLOW 特征并融合，使用 BERT 网络提取面部动作编码系统中的文本信息。通过跨模态对比损失，我们将属性信息嵌入视觉网络，从而在有限样本情况下提升微表情识别的表征能力。我们在 CASME II 与 MMEW 数据库上进行了充分实验，准确率分别为 77.82% 与 71.04%。对比实验表明，该方法相较其他微表情识别方法具有更好的识别效果。
引用
@article{arxiv.2205.14643,
title = {Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning},
author = {Yanxin Song and Jianzong Wang and Tianbo Wu and Zhangcheng Huang and Jing Xiao},
journal= {arXiv preprint arXiv:2205.14643},
year = {2022}
}
备注
This paper has been accepted by IJCNN2022