MuMTAffect：基于生理信号进行人格与情绪识别的多模态多任务情感框架
人机交互
2025-09-05 v1
摘要
我们提出了 MuMTAffect，一种新颖的多模态多任务情感嵌入网络，旨在从短生理信号片段中进行联合情绪分类和人格预测（重新识别）。MuMTAffect 整合了多种生理模态——瞳孔扩张、眼动注视、面部动作单元和皮肤电反应，为每种模态使用专用的基于 Transformer 的编码器，并使用融合 Transformer 来建模跨模态交互。受情绪建构论启发，该架构明确分离了核心情感编码（效价/唤醒度）与高层概念化，从而将预测植根于当代情感神经科学。人格特质预测被用作辅助任务，以生成稳健的、特定于用户的情感嵌入，显著增强了情绪识别性能。我们在 AFFEC 数据集上评估了 MuMTAffect，结果表明刺激层面的情绪线索（Stim Emo）和皮肤电反应显著改善了唤醒度分类，而瞳孔和注视数据增强了效价辨别。MuMTAffect 固有的模块化特性允许无缝集成额外模态，确保了可扩展性和适应性。大量实验和消融研究强调了我们的多模态多任务方法在创建个性化、情境感知情感计算系统方面的有效性，突出了跨被试泛化的进一步发展路径。
引用
@article{arxiv.2509.04254,
title = {MuMTAffect: A Multimodal Multitask Affective Framework for Personality and Emotion Recognition from Physiological Signals},
author = {Meisam Jamshidi Seikavandi and Fabricio Batista Narcizo and Ted Vucurevich and Andrew Burke Dittberner and Paolo Burelli},
journal= {arXiv preprint arXiv:2509.04254},
year = {2025}
}