基于自适应位移生成与Transformer融合的特征表示学习用于微表情识别
计算机视觉与模式识别
2023-04-11 v1
摘要
微表情是一种自发的、快速且细微的面部运动，既无法伪造也无法抑制。它们是非常重要的非语言交流线索，但因其转瞬即逝且强度低而难以识别。近来，基于深度学习的方法已利用特征提取与融合技术用于微表情（ME）识别，然而针对ME特性的定向特征学习与高效特征融合仍缺乏深入研究。为解决这些问题，我们提出了一种新颖的框架——基于自适应位移生成与Transformer融合的特征表示学习（FRL-DGT），其中采用具有自监督学习的卷积位移生成模块（DGM）从起始/顶点帧中提取面向后续ME识别任务的动态特征，并应用由三个基于Transformer的融合模块（基于AU区域的局部、全局融合以及全脸融合）组成的精心设计的Transformer融合机制，在DGM之后提取多层次信息特征用于最终ME预测。采用严格的留一受试者交叉验证（LOSO）评估结果的广泛实验证明了我们所提出的FRL-DGT相对于最先进方法的优越性。
引用
@article{arxiv.2304.04420,
title = {Feature Representation Learning with Adaptive Displacement Generation and Transformer Fusion for Micro-Expression Recognition},
author = {Zhijun Zhai and Jianhui Zhao and Chengjiang Long and Wenju Xu and Shuangjiang He and Huijuan Zhao},
journal= {arXiv preprint arXiv:2304.04420},
year = {2023}
}