用于多模态无监督欺骗检测的情感感知深度信念网络表示
计算机视觉与模式识别
2021-11-10 v2 机器学习
摘要
检测欺骗这一社会行为的自动化系统可提升医疗、社会工作与法律领域的人类福祉。用于训练有监督欺骗检测模型的标注数据集在真实世界高风险情境中极少可收集。为应对该挑战，我们提出首个无需标签即可检测视频中真实世界高风险欺骗的无监督方法。本文呈现我们用于学习欺骗与诚实行为判别表示的新颖情感感知无监督深度信念网络（DBN）方法。借鉴将情感与欺骗联系的心理学理论，我们试验了在面部效价、面部唤醒、音频与视觉特征上训练的单模态与多模态基于 DBN 的方法。除将面部情感作为 DBN 模型训练所用的特征外，我们还引入一种以面部情感作为音视觉表示对齐器的 DBN 训练流程。我们使用无监督高斯混合模型聚类进行分类实验以评估我们的方法。我们最佳的无监督方法（训练于面部效价与视觉特征）取得了 80% 的 AUC，优于人类能力且与全监督模型表现相当。我们的结果激励未来对无监督、情感感知计算方法进行野外欺骗及其他社会行为检测的研究。
引用
@article{arxiv.2108.07897,
title = {Affect-Aware Deep Belief Network Representations for Multimodal Unsupervised Deception Detection},
author = {Leena Mathur and Maja J Matarić},
journal= {arXiv preprint arXiv:2108.07897},
year = {2021}
}
备注
Accepted at IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), copyright 2021 IEEE