论深度伪造模型识别的利用
计算机视觉与模式识别
2022-04-12 v1
摘要
尽管生成对抗网络（GAN）近期取得了进展，但针对深度伪造（Deepfake）现象，无论是在可解释性还是所涉模型的识别方面都缺乏清晰认识。特别是，识别生成深度伪造图像的特定 GAN 模型（相较于由同一生成架构如 StyleGAN 创建的许多其他可能模型）这一任务在现有最先进研究中尚未得到完全解决。本文提出了一种鲁棒的处理流程，用于评估为深度伪造模型识别提取分析指纹的可能性。通过对 50 个略有差异的模型的潜空间及所生成图像进行深入分析，训练了一个合适的编码器以区分这些模型，分类准确率超过 96%。在证明可区分极相似图像后，引入了一种利用潜空间中所发现洞察的专用度量。该模型识别任务在由训练阶段未使用的模型生成的图像上取得了超过 94% 的最终准确率，本研究通过引入某种意义上类似于多媒体取证领域所用签名（如相机源识别任务、图像弹道学任务等）的签名，在应对深度伪造现象方面迈出了重要一步。
引用
@article{arxiv.2204.04513,
title = {On the Exploitation of Deepfake Model Recognition},
author = {Luca Guarnera and Oliver Giudice and Matthias Niessner and Sebastiano Battiato},
journal= {arXiv preprint arXiv:2204.04513},
year = {2022}
}