中文

ManiFPT:定义和分析生成模型的指纹

机器学习 2024-03-01 v2 计算机视觉与模式识别

摘要

最近的研究表明,生成模型会在生成的样本上留下其底层生成过程的痕迹,广义上称为生成模型的指纹,并研究了其在检测合成图像与真实图像方面的效用。然而,这些指纹在多大程度上能够区分各种类型的合成图像并帮助识别底层生成过程,仍有待探索。特别是,据我们所知,指纹的定义本身尚不清楚。为此,在本工作中,我们形式化了生成模型中伪影和指纹的定义,提出了一种在实际中计算它们的算法,最后研究了其在区分大量不同生成模型方面的有效性。我们发现,与现有方法相比,使用我们提出的定义可以显著提高从样本中识别底层生成过程(模型归属)的任务性能。此外,我们研究了指纹的结构,并观察到它对生成过程中不同设计选择的影响具有很强的预测性。

关键词

引用

@article{arxiv.2402.10401,
  title  = {ManiFPT: Defining and Analyzing Fingerprints of Generative Models},
  author = {Hae Jin Song and Mahyar Khayatkhoei and Wael AbdAlmageed},
  journal= {arXiv preprint arXiv:2402.10401},
  year   = {2024}
}

备注

Accepted to CVPR 2024