用于深度伪造检测的自监督图Transformer

深度伪造检测方法在识别给定数据集内的伪造内容方面已展现出良好前景，其训练与测试均在该分布内数据集上进行。然而，当面对未见样本时，其性能显著下降。因此，可靠的深度伪造检测系统必须不受伪造类型、外观与质量的影响，以保证可泛化的检测性能。尽管已有多种尝试来增强跨数据集泛化能力，该问题仍具挑战性，尤其是在面对常见后处理扰动（如视频压缩或模糊）时。为此，本研究引入了一种深度伪造检测框架，其利用自监督预训练模型，具备卓越的泛化能力，可抵御常见损坏并实现特征可解释性。该框架包含三个关键组件：基于视觉Transformer架构并通过自监督对比学习方法预训练的特征提取器、与Transformer判别器耦合的图卷积网络，以及提供对篡改区域更好理解并进一步解释模型决策的图Transformer关联图。为评估所提框架的有效性，我们进行了多项具有挑战性的实验，包括数据内分布性能、跨数据集、跨篡改泛化，以及针对常见后期制作扰动的鲁棒性。所得结果证明了所提深度伪造检测框架的卓越有效性，超越了当前最先进的方法。