动态微表情识别的时空特征融合框架
计算机视觉与模式识别
2025-05-23 v1 人工智能
摘要
当情绪被压抑时，个体的真实情感可能通过微表情被揭示。因此，微表情被视为洞察个体真实情感的真实来源。然而，微表情的瞬时性和高度局部化特性为其准确识别带来了重大挑战，专业人士的微表情识别准确率甚至可低至50%。为此，需要探索基于多模态融合技术的动态微表情识别（DMER）领域，特别关注时空模态特征的多样化融合。本文提出了一种 novel 时空特征融合框架用于DMER（TSFmicro）。该框架集成Retention Network（RetNet）和基于转换器的DMER网络，旨在通过捕获和融合时空关系实现高效的微表情识别。同时，我们从模态融合的角度提出了一种 novel 并行时空融合方法，将时空信息在高维特征空间中融合， resulting in 语义层面的互补“where-how”关系，为模型提供更丰富的语义信息。实验结果表明，TSFmicro方法在三个广为人知的微表情数据集上表现出优于其他当代SOTA方法的优越性能。
引用
@article{arxiv.2505.16372,
title = {Temporal and Spatial Feature Fusion Framework for Dynamic Micro Expression Recognition},
author = {Feng Liu and Bingyu Nan and Xuezhong Qian and Xiaolan Fu},
journal= {arXiv preprint arXiv:2505.16372},
year = {2025}
}
备注
17 pages