FReTAL：基于知识蒸馏与表示学习泛化深度伪造检测
计算机视觉与模式识别
2021-05-31 v1
摘要
随着基于 GAN 的视频和图像操纵技术变得更加复杂且易于获取，对有效的深度伪造检测技术的需求日益迫切。此外，过去几年中出现了多种深度伪造生成技术。尽管已提出许多深度伪造检测方法，但其性能在未经充分训练的新型深度伪造方法上会下降。为检测新型深度伪造，模型应从额外数据中学习而不丢失其关于深度伪造的先验知识（灾难性遗忘），尤其当新深度伪造差异显著时。本工作中，我们采用表示学习（ReL）与知识蒸馏（KD）范式，提出一种基于迁移学习的特征表示迁移自适应学习（FReTAL）方法。我们利用 FReTAL 在新的深度伪造数据集上执行域适应任务，同时最小化灾难性遗忘。我们的学生模型通过从预训练教师模型蒸馏知识并应用迁移学习，可在域适应阶段不使用源域数据的情况下快速适应新型深度伪造。通过在 FaceForensics++ 数据集上的实验，我们证明 FReTAL 在域适应任务上优于所有基线，在低质量深度伪造上准确率高达 86.97%。
引用
@article{arxiv.2105.13617,
title = {FReTAL: Generalizing Deepfake Detection using Knowledge Distillation and Representation Learning},
author = {Minha Kim and Shahroz Tariq and Simon S. Woo},
journal= {arXiv preprint arXiv:2105.13617},
year = {2021}
}
备注
12 pages, 2 figures, 5 tables, accepted for publication at the Workshop on Media Forensics 2021