广义深度伪造溯源
计算机视觉与模式识别
2024-06-27 v1 图像与视频处理
摘要
随着生成对抗网络(GAN)的出现，虚假媒体创作的格局发生了改变。随着生成技术的快速发展，虚假媒体的创作日益增多，给虚假媒体检测带来了新的挑战。GAN的一个基本特性是其对参数初始化（即种子）的敏感性。训练过程中使用的每个不同种子都会导致创建独特的模型实例，尽管采用相同的架构，也会产生不同的图像输出。这意味着，即使我们只有一个GAN架构，根据所使用的种子，它也可以产生无数种GAN模型变体。现有的深度伪造溯源方法只有在训练过程中见过特定的GAN模型时才有效。如果GAN架构使用不同的种子重新训练，这些方法就难以对伪造内容进行溯源。这种种子依赖性问题使得现有方法难以对深度伪造进行溯源。我们提出了一个广义深度伪造溯源网络(GDA-Net)，用于将伪造图像归因于其各自的GAN架构，即使这些图像是由使用不同种子（跨种子）重新训练的GAN架构版本或现有GAN模型的微调版本生成的。在GAN模型的跨种子和微调数据上进行的大量实验表明，与现有方法相比，我们的方法非常有效。我们提供了源代码以验证我们的结果。
引用
@article{arxiv.2406.18278,
title = {Generalized Deepfake Attribution},
author = {Sowdagar Mahammad Shahid and Sudev Kumar Padhi and Umesh Kashyap and Sk. Subidh Ali},
journal= {arXiv preprint arXiv:2406.18278},
year = {2024}
}