通过暴露图像上的卷积痕迹对抗 Deepfake
计算机视觉与模式识别
2020-09-14 v1
摘要
人工智能与图像处理的发展正在改变人们与数字图像和视频交互的方式。FACEAPP 等广泛使用的移动应用借助最先进的生成对抗网络（GAN）对人脸照片进行性别转换、衰老等极端变换。其结果极为逼真，且即便无经验用户也极易加以利用。此类媒体对象被称为 Deepfake，并在多媒体取证领域引发了一项新挑战：Deepfake 检测挑战。事实上，区分 Deepfake 与真实图像即便对人眼也可能是困难任务，但近期研究正尝试将用于生成图像的同种技术应用于判别，取得了初步良好结果却存在诸多局限：所采用的卷积神经网络不够鲁棒，被证明局限于特定语境且倾向于从图像中提取语义。本文提出一种旨在从图像中提取 Deepfake 指纹的新方法。该方法基于期望最大化（Expectation-Maximization）算法训练以检测并提取代表 GAN 在图像生成过程中留下的卷积痕迹（CT）的指纹。CT 被证明具有高判别力，在 Deepfake 检测任务上取得优于最先进方法的性能，且证明对多种攻击具有鲁棒性。在涵盖来自 10 种不同 GAN 架构（不仅限于人脸图像）的 Deepfake 时，总体分类准确率超过 98%，CT 被证明可靠且不依赖图像语义。最后，在 FACEAPP 生成的 Deepfake 上进行的测试取得了 93% 的伪造检测准确率，证明了所提技术在真实场景下的有效性。
引用
@article{arxiv.2008.04095,
title = {Fighting Deepfake by Exposing the Convolutional Traces on Images},
author = {Luca Guarnera and Oliver Giudice and Sebastiano Battiato},
journal= {arXiv preprint arXiv:2008.04095},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2004.10448