基于引导对抗插值的少样本伪造检测
计算机视觉与模式识别
2023-08-29 v2
摘要
人脸操纵模型的增加导致了社会中的一个关键问题——逼真视觉媒体的合成。随着新伪造方法以前所未有的速度出现,现有伪造检测方法在应用于未见过的新型伪造方法时性能显著下降。在这项工作中,我们通过 1) 基于多种伪造方法间的覆盖分析设计综合基准,以及 2) 提出引导对抗插值(GAI)来解决少样本伪造检测问题。我们的核心见解是,多数类与少数类伪造样本之间存在可迁移的分布特征。具体而言,我们在教师网络引导下,通过对少数类样本的伪造伪影向多数类样本进行对抗式插值,来增强对新型伪造方法的判别能力。与通常导致对少数类过拟合的标准再平衡方法不同,我们的方法同时考虑了多数类信息的多样性以及少数类信息的重要性。大量实验表明,我们的 GAI 在建立的少样本伪造检测基准上取得了最先进的性能。值得注意的是,我们的方法还被验证对多数类和少数类伪造方法的选择具有鲁棒性。正式出版版本见 Pattern Recognition。
引用
@article{arxiv.2204.05905,
title = {Few-shot Forgery Detection via Guided Adversarial Interpolation},
author = {Haonan Qiu and Siyu Chen and Bei Gan and Kun Wang and Huafeng Shi and Jing Shao and Ziwei Liu},
journal= {arXiv preprint arXiv:2204.05905},
year = {2023}
}