用于4D微表情识别的双视角光流——多流融合注意力方法
计算机视觉与模式识别
2026-03-31 v1
摘要
微表情识别对于情感计算至关重要，但由于涉及的极短暂、低强度面部运动以及4D网格数据的高维性，仍然具有挑战性。为应对这些挑战，我们提出了一种双视角光流方法，通过从两个同步视角捕捉每个微表情序列并计算光流来简化网格处理。我们的流水线从视角分离和序列级面部裁剪开始，以确保空间一致性，然后基于两个视角中的峰值运动强度自动进行顶点帧检测。我们将每个序列分解为起始-顶点和顶点-结束阶段，为每个阶段提取水平、垂直和幅度光流通道。这些被输入我们的三流微表情注意力网络（Triple-Stream MicroAttNet），该网络采用融合注意力模块来自适应加权模态特定特征，以及squeeze-and-excitation块来增强幅度表示。训练使用focal loss来缓解类别不平衡，并使用Adam优化器配合早停。在4DME数据集（包含24名受试者和五种情绪类别）上的评估，即4DMR IJCAI Workshop Challenge 2025，我们的方法实现了0.536的macro-UF1分数，超越官方基线超过50%，并获得第一名。消融研究证实融合注意力和SE组件各自贡献了高达3.6个百分点的UF1增益。这些结果表明，双视角、基于阶段的光流结合多流融合为4D微表情识别提供了一个鲁棒且可解释的解决方案。
引用
@article{arxiv.2603.26849,
title = {Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach},
author = {Luu Tu Nguyen and Thi Bich Phuong Man and Vu Tram Anh Khuong and Thanh Ha Le and Thi Duyen Ngo},
journal= {arXiv preprint arXiv:2603.26849},
year = {2026}
}