面向开放集模型溯源的渐进式开放空间扩展
计算机视觉与模式识别
2023-03-14 v1 图像与视频处理
摘要
尽管生成技术取得了显著进展，但知识产权保护与恶意内容监管这一双面问题已然浮现。已有研究致力于通过将合成图像归因到一组潜在源模型来对其进行管理。然而，闭集分类设定限制了其在真实场景中处理任意模型生成内容的应用。在本研究中，我们关注一项具有挑战性的任务，即开放集模型溯源（Open-Set Model Attribution, OSMA），旨在同时将图像归因到已知模型并识别来自未知模型的图像。与现有聚焦于语义新颖性的开放集识别（open-set recognition, OSR）任务相比，OSMA 更具挑战性，因为已知与未知模型图像之间的区别可能仅在于视觉上难以察觉的痕迹。为此，我们提出了一种渐进式开放空间扩展（Progressive Open Space Expansion, POSE）方案，该方案模拟与闭集样本语义相同但嵌入不同不可察觉痕迹的开放集样本。在多样性约束的指导下，开放空间由一组轻量级增强模型逐步模拟。我们考虑了三种真实场景并构建了 OSMA 基准数据集，包含与已知模型采用不同随机种子、架构和数据集训练的未知模型。在该数据集上的大量实验表明，POSE 优于现有的模型溯源方法和现成的 OSR 方法。
引用
@article{arxiv.2303.06877,
title = {Progressive Open Space Expansion for Open-Set Model Attribution},
author = {Tianyun Yang and Danding Wang and Fan Tang and Xinying Zhao and Juan Cao and Sheng Tang},
journal= {arXiv preprint arXiv:2303.06877},
year = {2023}
}
备注
accepted to CVPR2023