基于投票的多模态自动欺骗检测
机器学习
2024-03-18 v3 计算与语言
计算机视觉与模式识别
人机交互
摘要
自动欺骗检测长期以来都是热门研究课题，利用机器学习和深度学习自动检测欺骗为该古老领域带来新曙光。本文中，我们提出一种基于投票的方法，利用音频、视觉和词汇特征从视频中进行自动欺骗检测。实验在两个数据集上进行：密歇根大学的真实庭审数据集与迈阿密大学欺骗检测数据集。视频样本被切分为图像帧、音频和文字稿。我们提出的基于投票的多模态方案由三个模型组成。第一个模型为CNN，用于从图像检测欺骗；第二个模型为基于Mel谱图的支撑向量机（SVM），用于从音频检测欺骗；第三个模型为基于Word2Vec的支撑向量机（SVM），用于从文字稿检测欺骗。我们提出的方案优于当前最优（SOTA）。在真实庭审数据集上，图像、音频和文本的最佳结果分别为97%、96%、92%；在迈阿密大学欺骗检测上，视频、音频和文本分别为97%、82%、73%。
引用
@article{arxiv.2307.07516,
title = {Voting-based Multimodal Automatic Deception Detection},
author = {Lana Touma and Mohammad Al Horani and Manar Tailouni and Anas Dahabiah and Khloud Al Jallad},
journal= {arXiv preprint arXiv:2307.07516},
year = {2024}
}