Forensics Adapter：释放CLIP的通用人脸伪造检测能力
计算机视觉与模式识别
2025-05-26 v3 密码学与安全
机器学习
摘要
我们描述了Forensics Adapter，这是一种设计用于将CLIP转化为有效且通用人脸伪造检测器的适配器网络。尽管CLIP功能强大，但将其用于人脸伪造检测并不容易，因为伪造相关知识被广泛的无关知识所掩盖。现有方法仅将CLIP用作特征提取器，缺乏任务特定的适应，限制了其效果。为此，我们引入适配器来学习人脸伪造痕迹——即被造人脸特有的混合边界，由任务特定目标指导。然后，我们通过一种专门的交互策略增强CLIP的视觉标记，实现CLIP与适配器之间的知识交流。由于适配器与CLIP并存，其灵活性得以保留，自然确保了人脸伪造检测的强大通用性。仅需5.7百万可训练参数，我们的方法在五个标准数据集上实现了约7%的显著性能提升。此外，我们描述了Forensics Adapter++，一种通过新提出的伪造感知提示学习策略集成文本模态的扩展方法。这一扩展比原始Forensics Adapter再提升约1.3%。我们相信，提出的方法可作为面向CLIP的人脸伪造检测方法的基线。代码已发布于https://github.com/OUC-VAS/ForensicsAdapter。
引用
@article{arxiv.2411.19715,
title = {Forensics Adapter: Unleashing CLIP for Generalizable Face Forgery Detection},
author = {Xinjie Cui and Yuezun Li and Delong Zhu and Jiaran Zhou and Junyu Dong and Siwei Lyu},
journal= {arXiv preprint arXiv:2411.19715},
year = {2025}
}
备注
Extension of CVPR 2025