基于模型内协作学习的质量无关深度伪造检测
计算机视觉与模式识别
2023-09-13 v1 人工智能
摘要
深度伪造近来因其潜在的安全威胁和虚假信息传播引发了大量社会担忧。已有大量关于深度伪造检测的研究。然而，检测低质量深度伪造并同时检测不同质量的深度伪造仍是一项严峻挑战。大多数SOTA方法受限于使用单一特定模型来检测某种深度伪造视频质量类型。当利用视频质量的先验信息构建多个模型时，这种策略会带来显著的计算成本以及模型和训练数据开销。此外，它无法在实际场景中可扩展且实用地部署。在本工作中，我们提出一种通用的模型内协作学习框架，以实现对不同质量深度伪造的有效且同时的检测。即，我们的方法是一种质量无关的深度伪造检测方法，称为QAD。具体而言，通过观察一般误差期望的上界，我们利用Hilbert-Schmidt独立性准则最大化不同质量级别图像中间表示之间的依赖性。此外，我们精心设计了对抗权重扰动模块，使模型对图像损坏更具鲁棒性，同时提升整体模型性能。在七个流行深度伪造数据集上的大量实验证明了我们的QAD模型相对于先前SOTA基准的优越性。
引用
@article{arxiv.2309.05911,
title = {Quality-Agnostic Deepfake Detection with Intra-model Collaborative Learning},
author = {Binh M. Le and Simon S. Woo},
journal= {arXiv preprint arXiv:2309.05911},
year = {2023}
}