中文

基于潜空间增强超越伪造特异性的可泛化深度伪造检测

计算机视觉与模式识别 2024-03-29 v2

摘要

深度伪造检测面临一个关键的泛化障碍:当训练与测试数据分布不匹配时性能会退化。一种被广泛接受的解释是,这些检测器倾向于过拟合于伪造特定伪影,而非学习可广泛适用于各类伪造的特征。为解决此问题,我们提出了一种简洁而有效的检测器 LSDA(潜空间数据增强,\underline{L}atent \underline{S}pace \underline{D}ata \underline{A}ugmentation),其基于一种启发式思想:具有更丰富伪造多样性的表示应能学习到更具泛化性的决策边界,从而缓解对方法特定特征的过拟合(见 Fig.~\ref{fig:toy})。遵循该思想,我们提出通过在潜空间内构建并模拟伪造特征内部及之间的变异来扩大伪造空间。该方法涵盖富集的域特定特征获取,以及促进不同伪造类型间更平滑的过渡,有效弥合域鸿沟。我们的方法最终提炼出一个利用增强特征蒸馏知识、追求可泛化深度伪造检测的二分类器。综合实验表明,我们所提方法出奇有效,并在多个广泛使用的基准上超越了最先进的检测器。

关键词

引用

@article{arxiv.2311.11278,
  title  = {Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection},
  author = {Zhiyuan Yan and Yuhao Luo and Siwei Lyu and Qingshan Liu and Baoyuan Wu},
  journal= {arXiv preprint arXiv:2311.11278},
  year   = {2024}
}