基于多模态机器学习的二人交互欺骗检测：一项挪威群体的研究
机器学习
2025-12-12 v2
摘要
本研究探讨了使用多模态机器学习技术检测二人交互中的欺骗行为的效能，重点关注整合来自欺骗者和被欺骗者的数据。我们比较了早期融合和晚期融合方法，利用音频和视频数据——具体而言是动作单位（Action Units）和注视信息——跨所有可能的模态和参与者组合。我们新收集的来自挪威本地语言使用者的数据集，作为分析的基础。结果表明，纳入语音和面部信息的组合在单一模态方法方面表现更佳。此外，包括两个参与者的数据显著提高了欺骗检测的准确度，最佳性能（71%）通过应用于两个模态和参与者的晚期融合策略实现。这些发现与心理学理论相吻合，即在初始交互中，面部表达和声音表达的控制不同。作为首个针对斯堪的纳维亚群体的此类研究，本研究为未来在心理治疗等场景中探讨二人交互奠定了基础。
引用
@article{arxiv.2506.21429,
title = {Deception Detection in Dyadic Exchanges Using Multimodal Machine Learning: A Study on a Swedish Cohort},
author = {Thomas Jack Samuels and Franco Rugolon and Stephan Hau and Lennart Högman},
journal= {arXiv preprint arXiv:2506.21429},
year = {2025}
}
备注
40 pages, 2 figures, 2 tables. To be submitted in Behavior Research Methods