文本到图像模型对提示模板窃取的脆弱性：基于差分进化的方法
计算与语言
2025-05-20 v2
摘要
提示交易近年来已成为重要的知识产权问题，供应商通过展示示例图像来吸引用户，销售能够生成相似图像的提示模板。本文调查了一个关键安全漏洞：仅凭有限数量的示例图像，攻击者即可窃取提示模板。为调查此威胁，我们引入了 Prism——一个包含 50 个模板和 450 张图像的提示窃取基准数据集，分为易难两个难度级别。为识别视觉语言模型（VLM）对提示窃取的脆弱性，我们提出了 EvoStealer——一种无需模型微调即可进行模板窃取的新方法，利用差分进化算法。该系统基于预定义模式，使用多模态大语言模型（MLLM）初始化种群集合，然后通过 MLLM 生成增强后的后代。在进化过程中，EvoStealer 识别后代之间共同的特征，以推导出通用模板。我们在开源模型（INTERNVL2-26B）和闭源模型（GPT-4o 和 GPT-4o-mini）上的全面评估表明，EvoStealer 窃取的模板能够生成与原图高度相似的图像，并且有效地对其他主题进行泛化，显著优于基线方法，平均提升超过 10%。此外，我们的成本分析显示，EvoStealer 以几乎零样本计算开销即可完成模板窃取。我们的代码和数据集已提供给公众。
引用
@article{arxiv.2502.14285,
title = {Vulnerability of Text-to-Image Models to Prompt Template Stealing: A Differential Evolution Approach},
author = {Yurong Wu and Fangwen Mu and Qiuhong Zhang and Jinjing Zhao and Xinrun Xu and Lingrui Mei and Yang Wu and Lin Shi and Junjie Wang and Zhiming Ding and Yiwei Wang},
journal= {arXiv preprint arXiv:2502.14285},
year = {2025}
}
备注
14 pages,8 figures,4 tables