MuDD: 一种多模态欺骗检测数据集及基于 GSR 引导的渐进蒸馏用于非接触式欺骗检测
计算机视觉与模式识别
2026-04-07 v2 人工智能
摘要
非接触式自动欺骗检测仍然具有挑战性，因为视觉和听觉欺骗线索往往缺乏稳定的跨主体模式。相比之下，皮肤电反应（GSR）提供了更可靠的生理线索，并已在接触式欺骗检测中得到广泛应用。在本工作中，我们利用 GSR 中稳定的欺骗相关知识，通过跨模态知识蒸馏来引导非接触模态中的表征学习。然而，一个关键障碍是缺乏适合该设置的合适数据集。为此，我们引入了 MuDD，一个大规模多模态欺骗检测数据集，包含来自 130 名参与者、时长 690 分钟的记录。除视频、音频和 GSR 外，MuDD 还提供了光电容积描记术、心率和人格特征，支持对欺骗的更广泛科学研究。基于该数据集，我们提出了 GSR 引导的渐进蒸馏（GPD），一种跨模态蒸馏框架，用于缓解 GSR 与非接触信号之间巨大模态不匹配所导致的负迁移。GPD 的核心创新在于将渐进特征级和数字级蒸馏与动态路由相结合，使模型能够在训练过程中自适应地确定教师知识应如何迁移，从而实现更稳定的跨模态知识迁移。大量实验和可视化表明，GPD 优于现有方法，并在欺骗检测和隐藏数字识别两个任务上均达到了最先进的性能。
引用
@article{arxiv.2603.26064,
title = {MuDD: A Multimodal Deception Detection Dataset and GSR-Guided Progressive Distillation for Non-Contact Deception Detection},
author = {Peiyuan Jiang and Yao Liu and Yanglei Gan and Jiaye Yang and Lu Liu and Daibing Yao and Qiao Liu},
journal= {arXiv preprint arXiv:2603.26064},
year = {2026}
}