利用引导残差揭示 Deepfake 人脸伪造
计算机视觉与模式识别
2022-05-03 v1
摘要
残差域特征对 Deepfake 检测非常有用，因为它抑制了无关的内容特征并保留了关键的篡改痕迹。然而，不恰当的残差预测会给检测精度带来副作用。此外，残差域特征容易受到压缩等图像操作的影响。大多数现有工作要么利用空间域特征，要么利用残差域特征，却忽视了两类特征相互关联。本文提出一种引导残差网络，即 GRnet，以相互增强的方式融合空间域与残差域特征，从而揭示 Deepfake 生成的人脸图像。与现有的基于预测的残差提取方法不同，我们提出一种篡改痕迹提取器（MTE）直接去除内容特征并保留篡改痕迹。MTE 是一种细粒度方法，可避免不恰当预测导致的潜在偏差。此外，设计了一种注意力融合机制（AFM）以选择性地强调特征通道图并自适应地为两条流分配权重。实验结果表明，所提出的 GRnet 在 HFF、FaceForensics++、DFDC 和 Celeb-DF 四个公开假脸数据集上取得了优于 SOTA 工作的性能。特别地，GRnet 在 HFF 数据集上达到了 97.72% 的平均准确率，比现有工作至少高出 5.25%。
引用
@article{arxiv.2205.00753,
title = {Exposing Deepfake Face Forgeries with Guided Residuals},
author = {Zhiqing Guo and Gaobo Yang and Jiyou Chen and Xingming Sun},
journal= {arXiv preprint arXiv:2205.00753},
year = {2022}
}