面向可扩展和误导性越狱的图像提示适配器
计算机视觉与模式识别
2025-04-09 v1 人工智能
密码学与安全
摘要
最近，图像提示适配器 (IP-Adapter) 越来越多地集成到文本到图像扩散模型 (T2I-DMs) 中以提高可控性。然而，在本文中，我们揭示了配备 IP-Adapter 的 T2I-DMs (T2I-IP-DMs) 启用了一种新的越狱攻击，称为劫持攻击。我们演示，通过上传不可感知的图像空间对抗性示例 (AEs)，攻击者可以劫持大量善意用户以越狱驱动由 T2I-IP-DMs 提供的图像生成服务 (IGS)，并误导公众对服务提供者进行诽谤。更糟糕的是，IP-Adapter 对开源图像编码器的依赖降低了制作对抗性示例的知识要求。广泛的实验验证了劫持攻击的技术可行性。鉴于所揭示的威胁，我们研究了几种现有防御措施，并探索了将 IP-Adapter 与对抗性训练模型结合以克服现有防御措施的局限性。我们的代码可在 https://github.com/fhdnskfbeuv/attackIPA 获取。
引用
@article{arxiv.2504.05838,
title = {Mind the Trojan Horse: Image Prompt Adapter Enabling Scalable and Deceptive Jailbreaking},
author = {Junxi Chen and Junhao Dong and Xiaohua Xie},
journal= {arXiv preprint arXiv:2504.05838},
year = {2025}
}
备注
Accepted by CVPR2025 as Highlight