DFIL：利用域不变伪造线索的深度伪造增量学习
计算机视觉与模式识别
2023-09-19 v1 人工智能
摘要
深度伪造的恶意使用与广泛传播引发了严重的信任危机。当前的深度伪造检测模型通常通过在大型数据集上训练来识别伪造图像。然而，由于数据分布差异，检测模型在由新深度伪造方法生成的图像上准确率显著下降。为解决此问题，我们提出一种新颖的增量学习框架，通过从少量新样本持续学习来提升深度伪造检测模型的泛化能力。为应对不同数据分布，我们提出基于监督对比学习学习域不变表示，防止对不足的新数据过拟合。为缓解灾难性遗忘，我们基于多视角知识蒸馏方法在特征级与标签级正则化模型。最后，我们提出选取中心与困难代表性样本来更新回放集，这有利于域不变表示学习与基于复现的知识保持。我们在四个基准数据集上进行了大量实验，在FF++、DFDC-P、DFD和CDF2上取得了7.01的平均遗忘率与85.49的平均准确率的新SOTA。我们的代码发布于https://github.com/DeepFakeIL/DFIL。
引用
@article{arxiv.2309.09526,
title = {DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant Forgery Clues},
author = {Kun Pan and Yin Yifang and Yao Wei and Feng Lin and Zhongjie Ba and Zhenguang Liu and ZhiBo Wang and Lorenzo Cavallaro and Kui Ren},
journal= {arXiv preprint arXiv:2309.09526},
year = {2023}
}
备注
Accepted by ACMMM2023