MoE-FFD：面向泛化与参数高效的人脸伪造检测的混合专家
计算机视觉与模式识别
2025-08-21 v3
摘要
Deepfakes 近期在公众中引发了严重的信任问题和安全担忧。与 CNN 人脸伪造检测器相比，基于 ViT 的方法利用 Transformer 的表达能力，实现了更优的检测性能。然而，这些方法仍表现出以下局限性： 从 ImageNet 权重完全微调基于 ViT 的模型需要大量的计算和存储资源； 基于 ViT 的方法难以捕捉局部伪造线索，导致模型偏差； 这些方法仅局限于一种或少数几种人脸伪造特征，导致泛化能力有限。为了应对这些挑战，本工作引入了用于人脸伪造检测的混合专家模块，这是一种兼具泛化性与参数高效的基于 ViT 的方法。MoE-FFD 仅更新轻量级的低秩自适应和 Adapter 层，同时保持 ViT 主干冻结，从而实现参数高效的训练。此外，MoE-FFD 利用 Transformer 的表达能力和 CNN 的局部先验，同时提取全局和局部伪造线索。另外，设计了新颖的 MoE 模块以扩展模型容量并智能选择最优伪造专家，进一步提升伪造检测性能。我们提出的学习方案可以即插即用的方式无缝适配各种 Transformer 主干。大量实验结果表明，所提出的方法实现了最先进的人脸伪造检测性能，且参数开销显著降低。代码发布于：https://github.com/LoveSiameseCat/MoE-FFD。
引用
@article{arxiv.2404.08452,
title = {MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection},
author = {Chenqi Kong and Anwei Luo and Peijun Bao and Yi Yu and Haoliang Li and Zengwei Zheng and Shiqi Wang and Alex C. Kot},
journal= {arXiv preprint arXiv:2404.08452},
year = {2025}
}