一种基于统一 Transformer 网络的多模态情绪识别方法

基于 transformer 的模型的发展已在解决各类视觉与基于 NLP 的研究挑战方面取得显著进展。然而，基于 transformer 的方法所取得的进展尚未有效应用于生物传感研究。本文提出一种新颖的基于统一生物传感器-视觉多模态 Transformer (UBVMT) 的方法，通过将 ECG/PPG 信号的二维表示与人脸信息相结合，在唤醒-效价空间中分类情绪。为实现此目标，我们首先研究并比较了 ECG/PPG 信号的三种基于图像的表示的单模态情绪识别性能。随后我们提出我们的 UBVMT 网络，其通过结合 ECG/PPG 信号的二维基于图像的表示与面部表情特征来训练以执行情绪识别。我们的统一 transformer 模型由同构 transformer 块组成，以 ECG/PPG 信号的二维表示及相应人脸帧作为输入，以最少的模态特定设计进行情绪表示学习。我们的 UBVMT 模型通过重建视频帧与 ECG/PPG 信号二维图像的掩码块，以及对比建模来对齐人脸与 ECG/PPG 数据进行训练。在 MAHNOB-HCI 与 DEAP 数据集上的大量实验表明，我们基于统一 UBVMT 的模型取得了与 SOTA 技术相当的结果。