中文

基于模式驱动的 DecepGPT:多文化数据集与鲁棒多模态欺骗检测

计算机视觉与模式识别 2026-04-14 v2 人工智能

摘要

多模态欺骗检测旨在通过分析音视频线索来识别欺骗行为,以实现法医与安保目的。在这些高风险场景中,调查人员需要可验证的证据将音视频线索与最终决策关联,并具备跨域和跨文化情境下的可靠泛化能力。然而,现有基准仅提供二元标签,缺乏中间推理线索。数据集规模小且场景覆盖有限,导致捷足其道学习。为解决这些问题,我们通过三方面工作予以应对。第一,我们通过为现有基准增补结构化线索级描述与推理链,构建推理数据集,使模型输出可审计报告。第二,我们发布 T4-Deception—a 一个基于统一的“真相大战”电视节目格式在四个国家实现的多文化数据集。该数据集包含 1695 个样本,是目前规模最大的非实验室欺骗检测数据集。第三,我们提出两个模块以应对小数据条件下的鲁棒学习。稳定性个体-共性协同机制(Stabilized Individuality-Commonality Synergy, SICS)通过协同可学习的全局先验与样本自适应残差来细化多模态表征,随后通过极性感知调整实现表征的双向校准。蒸馏模态一致性(Distilled Modality Consistency, DMC)通过知识蒸馏将单模态预测与融合多模态预测对齐,以防止单模态捷足其道学习。在三个既有基准和我们新构建的数据集上进行的实验表明,我们的方法在同一领域和跨领域情境下均实现了最先进的性能,同时在多样化文化语境中展现出卓越的迁移能力。数据集与代码将予以发布。

关键词

引用

@article{arxiv.2603.23916,
  title  = {DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning},
  author = {Jiajian Huang and Dongliang Zhu and Zitong YU and Hui Ma and Jiayu Zhang and Chunmei Zhu and Xiaochun Cao},
  journal= {arXiv preprint arXiv:2603.23916},
  year   = {2026}
}

备注

17 pages, 11 figures, 12 tables