DeepFake-Adapter：用于 DeepFake 检测的双层适配器
计算机视觉与模式识别
2024-12-10 v2
摘要
现有的 DeepFake 检测方法未能很好地泛化到未见或退化的样本，这可归因于对低层伪造模式的过拟合。在此我们认为，高层语义也是可泛化伪造检测不可或缺的要素。最近，大型预训练 Vision Transformer (ViT) 展示了有前景的泛化能力。在本文中，我们提出了首个用于 DeepFake 检测的参数高效微调方法，即 DeepFake-Adapter，以有效且高效地将大型预训练 ViT 中可泛化的高层语义适配到 DeepFake 检测中。在拥有大型预训练模型但 DeepFake 数据有限的情况下，DeepFake-Adapter 在保持模型主干冻结的同时，向 ViT 引入了轻量且专用的双层适配器模块。具体而言，为了引导适配过程感知 DeepFake 数据的全局和局部伪造线索，1) 我们不仅在 ViT 的 MLP 层并行插入全局感知瓶颈适配器，2) 还主动使局部感知空间适配器与 ViT 的特征进行交叉注意力操作。与仅关注低层伪造模式的现有 DeepFake 检测方法不同，我们模型的伪造检测过程可以通过预训练 ViT 中可泛化的高层语义进行正则化，并被 DeepFake 数据的全局和局部低层伪造所适配。在几个标准 DeepFake 检测基准上的大量实验验证了我们方法的有效性。值得注意的是，DeepFake-Adapter 在跨数据集和跨篡改设置下展现出令人信服的优势。代码已发布于 https://github.com/rshaojimmy/DeepFake-Adapter。
引用
@article{arxiv.2306.00863,
title = {DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection},
author = {Rui Shao and Tianxing Wu and Liqiang Nie and Ziwei Liu},
journal= {arXiv preprint arXiv:2306.00863},
year = {2024}
}
备注
IJCV 2025. Github: https://github.com/rshaojimmy/DeepFake-Adapter