基于 CLIP-ViT 特征的可学习表示的少样本类别递增模型归因
计算机视觉与模式识别
2025-03-12 v1
摘要
最近，利用生成模型扭曲或捏造事实的图像已成为社会关注的问题。为应对生成式人工智能（AI）模型的持续演变，模型归因（MA）超越了单纯的合成图像检测，成为必要手段。然而，现有的基于深度学习的 MA 方法必须使用新数据从头训练以识别未见过的模型，这既耗时又耗数据。本工作提出了一种应对持续涌现的生成式模型的新策略。我们将少样本类别递增学习（FSCIL）机制适配到 MA 问题中，以揭示新型生成式 AI 模型。与现有 FSCIL 方法聚焦于利用高层信息进行目标分类不同，MA 需要分析合成图像中的低层细节，如颜色和纹理。因此，我们利用来自 CLIP-ViT 不同层级的可学习表示。为了学习有效的表示，我们提出了自适应集成模块（AIM），用于计算每张图像 CLIP-ViT 块特征的加权和，从而增强识别生成式模型的能力。大量实验表明，我们的方法能够有效地从先前生成式模型推广到近期模型。
引用
@article{arxiv.2503.08148,
title = {Few-Shot Class-Incremental Model Attribution Using Learnable Representation From CLIP-ViT Features},
author = {Hanbyul Lee and Juneho Yi},
journal= {arXiv preprint arXiv:2503.08148},
year = {2025}
}
备注
9 pages