基于鲁棒情绪状态特征与新颖投票方案的多模态视频欺骗检测

欺骗检测是一项重要任务，因其潜在应用而成为热门研究课题。它可应用于诸多领域，从国家安全（如机场安保、法学与执法）到现实应用（如商业与计算机视觉）。然而，一些关键问题仍然存在并值得更多研究。欺骗检测任务中的重大挑战之一是数据稀缺问题。迄今仅发布了一个用于人类欺骗检测的多模态基准公开数据集，其中包含 121 个用于欺骗检测的视频片段（即 61 个欺骗类与 60 个真实类）。如此规模的数据难以驱动基于深度神经网络的方法。因此，那些现有模型常遭受过拟合问题与低泛化能力。此外，因诸多因素，真值数据包含一些不可用帧。然而，多数文献未关注这些问题。因此，本文中我们首先设计了一系列数据预处理方法来处理上述问题。然后，我们提出一个多模态欺骗检测框架以构建我们新颖的基于情绪状态的特征，并使用公开工具包 openSMILE 从音频模态提取特征。我们还设计了一种投票方案来融合从视觉与音频模态获得的情绪状态信息。最终，我们可通过自行设计的算法确定新颖的情绪状态转换特征。实验中，我们对所提方法与最先进的多模态欺骗检测方法进行了关键分析与比较。实验结果表明，多模态欺骗检测的整体性能在准确率上从 87.77% 显著提升至 92.78%，ROC-AUC 从 0.9221 提升至 0.9265。