基于 ATSFace 数据的多模态欺骗检测中类 LoRA 校准方法
计算机视觉与模式识别
2023-09-06 v1 人工智能
摘要
近年来，针对人类视频的欺骗检测是一项引人注目的技术，并可服务于诸多应用。该领域的 AI 模型展现出高准确率，但 AI 往往是一个不可解释的黑箱。我们引入了一种注意力感知神经网络，以应对视频数据与欺骗动态中固有的挑战。该模型通过持续评估视觉、音频与文本特征，精准定位欺骗线索。我们采用了一种多模态融合策略以提升准确率；我们的方法在真实 trial 数据集上取得了 92% 的准确率。最为重要的是，该模型指示了视频中的注意力焦点，为欺骗线索提供了有价值的洞察。因此，我们的方法既巧妙检测欺骗又阐释了底层过程。我们进一步通过一项涉及学生如实或欺骗性回答问题的实验丰富了研究，由此产生了一个包含 309 个视频片段的新数据集，命名为 ATSFace。利用该数据集，我们还引入了一种受低秩自适应（Low-Rank Adaptation, LoRA）启发的校准方法，以精炼基于个体的欺骗检测准确率。
引用
@article{arxiv.2309.01383,
title = {LoRA-like Calibration for Multimodal Deception Detection using ATSFace Data},
author = {Shun-Wen Hsiao and Cheng-Yuan Sun},
journal= {arXiv preprint arXiv:2309.01383},
year = {2023}
}
备注
10 pages, 9 figures