FAMNet：基于多任务学习和层次注意力集成 2D 与 3D 特征的微表情识别
计算机视觉与模式识别
2025-08-20 v1
摘要
微表情识别（MER）在众多领域具有重要应用价值，但微表情（MEs）的短暂持续时间和低强度为 MER 带来了 considerable 挑战。当前深度学习方法主要包括三种数据加载方式：静态图像、动态图像序列以及两者组合。如何有效提取 MEs 的细粒度时空特征一直是难题。本文提出一种基于多任务学习和层次注意力的新型 MER 方法，通过融合 2D 与 3D CNN 全面提取 MEs 的全向特征。该融合模型由 2D CNN AMNet2D 和 3D CNN AMNet3D 组成，结构类似，均由共享的残差网络（Resnet18）和注意力模块组成。在训练过程中，模型分别采用不同的数据加载方式适配两个特定网络，联合训练 MER 和面部动作单元检测（FAUD）任务，并采用参数硬共享以进一步提高 MER 任务效果。最终融合模型称为 FAMNet。大量实验结果表明，我们的方法显著提升了任务性能。在 SAMM、CASME II 和 MMEW 数据集上，FAMNet 分别实现了 83.75%（UAR）和 84.03%（UF1）。在具有挑战性的 CAS(ME) 数据集上，FAMNet 实现了 51%（UAR）和 43.42%（UF1）。
引用
@article{arxiv.2508.13483,
title = {FAMNet: Integrating 2D and 3D Features for Micro-expression Recognition via Multi-task Learning and Hierarchical Attention},
author = {Liangyu Fu and Xuecheng Wu and Danlei Huang and Xinyi Yin},
journal= {arXiv preprint arXiv:2508.13483},
year = {2025}
}
备注
8 pages, 6 figures. Accepted to IJCNN 2025