基于孪生网络的合成图像开放集架构溯源验证系统
计算机视觉与模式识别
2024-01-01 v2
摘要
尽管已开发多种合成图像溯源方法，其中大多数仅能溯源训练集中包含的模型或架构所生成的图像，对未知架构无效，限制了其在真实场景中的适用性。本文中，我们提出一种基于孪生网络（Siamese Network）的验证框架，以解决合成图像到其生成架构的开放集溯源问题。我们考虑两种设置。第一种设置中，系统判定两幅图像是否由同一生成架构产生。第二种设置中，系统利用所声称架构生成的一幅或多幅参考图像，验证关于某合成图像生成架构的声明。所提系统的主要优势是能在封闭与开放集场景下运行，使得输入图像（查询与参考图像）可属于训练时考虑的架构或不属于。涵盖 GAN、扩散模型与 transformers 等多种生成架构、聚焦于合成人脸图像生成的实验评估，证实了我们的方法在封闭与开放集设置下的优异性能及其强泛化能力。
引用
@article{arxiv.2307.09822,
title = {A Siamese-based Verification System for Open-set Architecture Attribution of Synthetic Images},
author = {Lydia Abady and Jun Wang and Benedetta Tondi and Mauro Barni},
journal= {arXiv preprint arXiv:2307.09822},
year = {2024}
}