面向不完整多模态生理信号的鲁棒情感识别的多遮蔽查询网络

从生理数据进行情感识别是精神健康评估的关键任务，但面临两个显著挑战：不完整的多模态信号以及身体运动和制造缺陷的干扰。本文提出一种新型的多遮蔽查询网络(MMQ-Net)，通过整合多个查询机制来解决这些问题。具体而言，它使用模态查询来重建来自不完整信号的缺失数据，使用类别查询聚焦于情感状态特征，使用干扰查询将相关信息与噪声分离。大量实验结果表明，MMQ-Net 在情感识别性能方面优于现有方法，尤其在数据不完整程度较高的情况下。