中文

面向 GAN 生成图像去中心化来源归因的可迁移类别建模

计算机视觉与模式识别 2022-03-21 v1 机器学习

摘要

GAN 生成的深度伪造作为一种数字图像类型,正作为艺术表达的催化剂和恶意的欺骗形式而日益盛行,因此需要系统来强制并认可其道德使用。现有的合成图像来源归因技术使用功能与可扩展性受限的多类分类神经网络来识别细微的固有指纹。因此,我们将深度伪造检测与来源归因问题重新定义为一系列相关的二分类任务。我们利用迁移学习快速适配伪造检测网络以应对多个独立的归因问题,并提出一种半去中心化模块化设计来同时高效地解决它们。类激活映射也被证明是模型解释中特征定位的有效手段。经实验确定,我们的模型与当前基准具有竞争力,并能在理想条件下对人像取得尚可的性能。研究发现,基于去中心化指纹的归因在存在新颖来源时仍保持有效性,但更易受第二类错误影响,且该类错误随图像扰动与归因不确定性而加剧。我们描述了概念框架与模型原型,以在探究反应性深度伪造归因的技术极限时作进一步优化。

关键词

引用

@article{arxiv.2203.09777,
  title  = {Transferable Class-Modelling for Decentralized Source Attribution of GAN-Generated Images},
  author = {Brandon B. G. Khoo and Chern Hong Lim and Raphael C. -W. Phan},
  journal= {arXiv preprint arXiv:2203.09777},
  year   = {2022}
}

备注

21 pages, 8 figures. Code: https://github.com/quarxilon/Generator_Attribution