短视频平台上一致性感知的虚假视频检测

本文聚焦于短视频平台上的虚假新闻检测。尽管近年来该领域已投入大量研究精力并取得了显著进展，但当前检测准确率仍不理想，原因在于内容操控与生成技术的快速演进。现有方法通常采用跨模态融合策略，在应用分类层之前直接将原始视频数据与元数据输入进行融合。然而，我们的实证观察揭示了一个关键疏漏：操控内容频繁表现出跨模态不一致性，这可作为有价值的判别特征，但在当代检测框架中尚未得到充分利用。受此启发，我们提出了一种新的检测范式，明确识别并利用跨模态矛盾作为判别线索。我们的方法包含两个核心模块：跨模态一致性学习（CMCL）和多模态协同诊断（MMCD）。CMCL包括伪标签生成（PLG）和跨模态一致性诊断（CMCD）。在PLG中，多模态大语言模型用于生成伪标签以评估跨模态语义一致性。随后，CMCD提取标记并计算余弦损失以量化跨模态不一致性。MMCD进一步通过多模态特征融合（MFF）和概率分数融合（PSF）整合多模态特征。MFF采用协同注意力机制以增强不同模态间的语义交互，同时利用Transformer进行全面的特征融合。与此同时，PSF进一步整合前一步骤获得的虚假新闻概率分数。在已建立的基准数据集（FakeSV和FakeTT）上的广泛实验证明，我们的模型在虚假视频检测中表现出卓越性能。