基于端到端学习高层特征与分类方法的视频自动欺骗检测

欺骗检测是一个跨学科领域，吸引了来自心理学、犯罪学、计算机科学和经济学的研究者。我们提出一种结合深度学习与判别模型的多模态方法用于自动欺骗检测。利用视频模态，我们采用卷积端到端学习来分析注视、头部姿态和面部表情，与最先进的方法相比取得了有前景的结果。由于训练数据有限，我们也利用判别模型进行欺骗检测。尽管探索了序列到类方法，但由于数据稀缺，判别模型表现优于它们。我们的方法在五个数据集上进行了评估，包括一个受经济因素驱动的新 Rolling-Dice Experiment。结果表明面部表情优于注视和头部姿态，且结合模态与特征选择可提升检测性能。各数据集上表达特征的差异强调了场景特定训练数据的重要性以及上下文对欺骗行为的影响。跨数据集实验进一步证实了这些发现。尽管低利害数据集（包括 Rolling-Dice Experiment）带来了挑战，欺骗检测性能仍超过随机水平。我们提出的多模态方法与综合评估揭示了从视频模态自动化欺骗检测的潜力，为未来研究开辟了途径。