FRIDAY:基于人脸识别器引导的深度伪造检测器中无意人脸身份信息的缓解
计算机视觉与模式识别
2024-12-20 v1 密码学与安全
摘要
以往的深度伪造检测方法在其训练领域内表现良好,但随着新合成技术的出现,其有效性显著下降。最近的研究揭示,检测模型往往基于人脸身份而非合成伪影构建决策边界,导致在跨领域数据集上性能不佳。为解决这一局限,我们提出了人脸识别身份衰减(FRIDAY),一种利用人脸识别器减轻人脸身份影响的新型训练方法。具体地,我们首先使用与深度伪造检测器相同的主干网络训练一个人脸识别器。然后冻结该识别器,并在检测器训练期间使用它来减少人脸身份信息。这是通过将输入图像同时输入识别器和检测器,并通过我们的人脸身份衰减损失最小化其特征嵌入的相似性来实现的。这一过程促使检测器生成与识别器不同的嵌入,有效降低人脸身份的影响。大量实验表明,我们的方法在领域内和跨领域数据集上均显著提升了检测性能。
引用
@article{arxiv.2412.14623,
title = {FRIDAY: Mitigating Unintentional Facial Identity in Deepfake Detectors Guided by Facial Recognizers},
author = {Younhun Kim and Myung-Joon Kwon and Wonjun Lee and Changick Kim},
journal= {arXiv preprint arXiv:2412.14623},
year = {2024}
}
备注
5 pages, 4 figures. In 2024 IEEE International Conference on Visual Communications and Image Processing (VCIP) Oral