WiFE：基于 WiFi 与视觉的智能面部-手势情感识别

情感是人工智能（AI）和人类心理健康的重要组成部分。当前的情感识别研究主要集中在单一模态（如面部表情），而人类情感表达本质上是多模态的。在本文中，我们提出了一种混合情感识别系统，利用两种富含情感且紧密耦合的模态，即面部表情和身体手势。然而，无偏且细粒度的面部表情和手势识别仍然是一个主要问题。为此，与依赖接触甚至侵入式传感器的竞争方法不同，我们利用商用 WiFi 信号进行无设备、非接触式的手势识别，同时采用基于视觉的面部表情识别。然而，存在两个设计挑战，即如何提高 WiFi 信号的灵敏度，以及如何处理由这两种模态贡献的大规模、异构且非同步的数据。对于前者，我们提出了一种基于莱斯 K 因子理论的信号灵敏度增强方法；对于后者，我们结合 CNN 和 RNN 来挖掘双模态数据的高层特征，并进行分数级融合以实现细粒度识别。为了评估所提方法，我们构建了首个 Vision-CSI 情感数据库（VCED）并进行了大量实验。实证结果表明，双模态系统具有优越性，对七种情感的识别准确率达到 83.24%，而仅基于手势的解决方案和仅基于面部的解决方案的识别准确率分别为 66.48% 和 66.67%。VCED 数据库下载链接为 https://github.com/purpleleaves007/WIFE-Dataset。