基于多变量软混合和 CLIP 的深度伪造检测
计算机视觉与模式识别
2026-02-19 v1
摘要
高度逼真的人脸伪造材料的不断涌现，亟需鲁棒的检测方法。然而，现有方法常因不同伪造技术生成的样本分布发生显著偏移，导致检测精度有限且泛化性差。为此，我们提出一种 novel 的多变量软混合数据增强与 CLIP 引导的伪造强度估计 (MSBA-CLIP) 框架。该方法利用 CLIP 的多模态对齐能力捕捉细微的伪造痕迹。我们引入多变量软混合数据增强 (MSBA) 策略，通过对多种伪造方法进行加权随机混合合成图像，迫使模型学习通用模式。此外，设计专门的多变量伪造强度估计 (MFIE) 模块，显式引导模型学习与不同伪造模式和强度相关的特征。大量实验表明，我们的方法在性能上实现了最先进的水平。在源域测试中，准确率和 AUC 分别提升了 3.32% 和 4.02%。在跨域评估中覆盖五个数据集，平均 AUC 提升 3.27%。消融实验确认了两项新组件的有效性。虽然依赖大型视觉语言模型导致计算成本较高，但我们的工作为更具通用性和鲁棒性的深度伪造检测提供了重要一步。
引用
@article{arxiv.2602.15903,
title = {Detecting Deepfakes with Multivariate Soft Blending and CLIP-based Image-Text Alignment},
author = {Jingwei Li and Jiaxin Tong and Pengfei Wu},
journal= {arXiv preprint arXiv:2602.15903},
year = {2026}
}