通过知识注入进行 Deepfake 检测
计算机视觉与模式识别
2025-03-05 v1
摘要
由于当前的生成式 AI 模型能够生成逼真的 deepfake，且这些内容可能被用于恶意目的，deepfake 检测技术变得至关重要。现有的 deepfake 检测方法要么依赖于开发分类方法以更好地拟合训练数据的分布，要么利用伪造合成机制来学习更全面的伪造分布。遗憾的是，这些方法往往忽略了真实数据知识的重要作用，这限制了它们在处理未见真实与伪造数据时的泛化能力。为了应对这些挑战，本文提出了一种简单且新颖的方法，名为基于知识注入的 Deepfake 检测（KID）。该方法通过构建一个基于多任务学习的知识注入框架，能够轻松插入到现有的基于 ViT 的骨干模型中，包括基础模型。具体而言，本文提出了一个知识注入模块，用于学习并向骨干模型注入必要的知识，以实现对真实与伪造数据分布的更准确建模。构建了一个粗粒度伪造定位分支，以多任务学习的方式学习伪造位置，从而为知识注入模块丰富所学的伪造知识。提出了两种逐层抑制与对比损失，以在知识注入模块中强调真实数据知识，进一步平衡真实知识与伪造知识的比例。大量实验表明，我们的 KID 与不同规模的基于 ViT 的骨干模型具有出色的兼容性，并在加快训练收敛速度的同时实现了 SOTA 的泛化性能。
引用
@article{arxiv.2503.02503,
title = {Deepfake Detection via Knowledge Injection},
author = {Tonghui Li and Yuanfang Guo and Zeming Liu and Heqi Peng and Yunhong Wang},
journal= {arXiv preprint arXiv:2503.02503},
year = {2025}
}