视频中的欺骗检测

我们提出了一种用于真实法庭审判视频中隐蔽自动欺骗检测的系统。我们研究了不同模态（如视觉、音频和文本）对该任务的重要性。在视觉方面，我们的系统使用在预测人类微表情的低层视频特征上训练的分类器。我们表明，高层微表情的预测可用作欺骗预测的特征。令人惊讶的是，广泛用于动作识别的 IDT（Improved Dense Trajectory，改进密集轨迹）特征也非常擅长预测视频中的欺骗。我们将在 IDT 特征和高层微表情上训练的分类器分数进行融合以提升性能。来自音频域的 MFCC（Mel-frequency Cepstral Coefficients，梅尔频率倒谱系数）特征也显著提升了性能，而来自转录文本的信息对我们的系统益处不大。使用多种分类器，我们的自动化系统在评估未参与训练集的受试者时获得了 0.877 的 AUC（10 折交叉验证）。尽管最先进的方法使用人工标注的微表情进行欺骗检测，我们的全自动化方法仍比其高出 5%。当与人工标注的微表情结合时，我们的 AUC 提升至 0.922。我们还展示了一项用户研究的结果，以分析普通人在该任务上的表现、他们使用哪些模态进行欺骗检测，以及在仅能获取单一模态时他们的表现。我们的项目页面见 \url{https://doubaibai.github.io/DARE/}。