在自动化多模态欺骗检测中引入面部情感表征

自动化欺骗检测系统可帮助人类在医疗、法律等高利害关系情境中识别欺骗者，从而增进社会健康、公正与安全。本文针对自动化欺骗检测中面部情感维度表征的判别力，结合来自视觉、声音和语言模态的可解释特征，提出了一种新颖分析。我们使用了一个真实世界高利害关系法庭情境中人们诚实或欺骗交流的视频数据集。我们通过实现一个在 Aff-Wild 数据库上训练的最先进深度神经网络，利用自动化情绪识别在真实场景中的最新进展，从说话者中提取连续的面部效价与面部唤醒度表征。我们尝试了单模态支持向量机（SVM）和基于 SVM 的多模态融合方法，以识别用于欺骗检测的有效特征、模态和建模方法。在面部情感上训练的单模态模型达到了 80% 的 AUC，而面部情感对性能最佳的多模态方法（自适应提升）有所贡献，该方法在测试未参与训练集的说话者时达到了 91% 的 AUC。该方法比现有使用该数据集中可解释视觉、声音和语言特征但未使用面部情感的自动化机器学习欺骗检测方法取得了更高的 AUC。在所有视频中，欺骗与诚实说话者在面部效价和面部唤醒度上表现出显著差异，为现有的关于情感与欺骗的心理学理论提供了计算支持。我们的模型中面部情感所展现的重要性，为未来开发用于真实场景中建模和检测欺骗及其他社会行为的自动化、情感感知机器学习方法提供了信息与动机。