利用自混合图像检测 Deepfakes
计算机视觉与模式识别
2022-04-19 v1
摘要
在本文中，我们提出一种称为自混合图像（SBIs）的新型合成训练数据来检测 deepfakes。SBIs 通过对单张真实图像中的伪源图像与伪目标图像进行混合而生成，再现了常见的伪造伪影（例如混合边界以及源图像与目标图像之间的统计不一致）。SBIs 背后的核心思想是，更通用且难以辨识的伪造样本能够促使分类器学习通用且鲁棒的表示，而不会过拟合到特定操纵的伪影上。我们遵循标准的跨数据集与跨操纵协议，在 FF++、CDF、DFD、DFDC、DFDCP 和 FFIW 数据集上将我们的方法与 SOTA 方法进行比较。大量实验表明，我们的方法提升了模型对未知操纵与场景的泛化能力。特别是在现有方法受训测集领域差距影响的 DFDC 和 DFDCP 上，我们的方法在跨数据集评估中分别比基线高出 4.90% 和 11.78% 个百分点。
引用
@article{arxiv.2204.08376,
title = {Detecting Deepfakes with Self-Blended Images},
author = {Kaede Shiohara and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2204.08376},
year = {2022}
}
备注
CVPR 2022 Oral. Code: https://github.com/mapooon/SelfBlendedImages