基于弱监督的多模态偏差感知框架用于时序伪造定位

当前深度伪造鉴别研究通常将检测视为分类任务或时序伪造定位问题，这些方法往往受限、耗时且难以扩展到大规模数据集。为解决这些问题，我们提出了一种用于弱监督时序伪造定位的多模态偏差感知框架 (MDP)，旨在仅利用视频级别标注识别时序局部伪造片段。MDP 提出一种新颖的多模态交互机制 (MI) 和可扩展的偏差感知损失，以感知多模态偏差，实现对伪造片段的精细化开始和结束时间戳定位。具体而言，MI 引入一种在概率嵌入空间中保持时序属性的跨模态注意力机制，用于衡量视觉和音频模态之间的相关性。它可以识别模态间的偏差并构建全面的视频特征用于时序伪造定位。为进一步探索弱监督学习中的时序偏差，提出了可扩展的偏差感知损失，旨在扩大伪造样本相邻片段的偏差并减小真实样本的偏差。大量实验表明，所提框架有效且在多个评估指标上达到与完全监督方法相当的性能。