Mamba-VA：基于Mamba的价键-唤醒空间连续情感识别方法
人工智能
2025-03-14 v1
摘要
连续情感识别（CER）在智能人机交互、心理健康监测和自动驾驶中发挥着关键作用。基于价键-唤醒（VA）空间的情感建模能够实现更精细的情感状态表示。然而，现有方法在处理长期依赖和捕捉复杂时间动态方面仍面临挑战。为解决这些问题，本文提出了一种新颖的情感识别模型Mamba-VA，利用Mamba架构高效地对视频帧中的序列情感变化进行建模。首先，该模型采用掩码自编码器（MAE）从视频帧中提取深度视觉特征，增强时间信息的鲁棒性。然后，利用时间卷积网络（TCN）进行时间建模以捕捉局部时间依赖。随后，应用Mamba进行长序列建模，实现全局情感趋势的学习。最后，全连接（FC）层执行回归分析以预测连续的价键和唤醒值。在第8届野外情感行为分析竞赛（ABAW）的价键-唤醒估计任务上的实验结果表明，所提出的模型在验证集和测试集上分别取得了0.5362（0.5036）和0.4310（0.4119）的价键和唤醒分数，超越了基线模型。源代码可在GitHub上获取：https://github.com/FreedomPuppy77/Charon。
引用
@article{arxiv.2503.10105,
title = {StepMathAgent: A Step-Wise Agent for Evaluating Mathematical Processes through Tree-of-Error},
author = {Shu-Xun Yang and Cunxiang Wang and Yidong Wang and Xiaotao Gu and Minlie Huang and Jie Tang},
journal= {arXiv preprint arXiv:2503.10105},
year = {2025}
}