个性化作为针对文本到图像扩散模型的少样本后门攻击捷径
计算机视觉与模式识别
2023-12-21 v3
摘要
尽管近期的个性化方法通过以最少样本和轻量计算实现快速概念获取，使高分辨率图像合成平民化，但它们也提供了一条可被利用的、高度可及的后门攻击途径。本文研究了文本到图像（T2I）扩散模型一个关键且未被探索的方面——其通过个性化遭受后门攻击的潜在脆弱性。我们的研究聚焦于两类个性化方法中普遍存在的零日后门漏洞，以Textual Inversion和DreamBooth为代表。相比传统后门攻击，我们提出的方法能够以更低的入门门槛实现更精确、高效且易用的攻击。我们全面综述了T2I扩散模型中的个性化，凸显此后门漏洞的运作方式与利用潜力。具体而言，通过研究Textual Inversion和DreamBooth的提示处理，我们依据处理未见令牌的不同方式设计了专用后门攻击，并分析了触发器与概念图像对攻击效果的影响。通过全面的实证研宄，我们推崇采用新令牌（nouveau-token）后门攻击，因其令人印象深刻的效力、隐蔽性与完整性，显著优于旧令牌（legacy-token）后门攻击。
引用
@article{arxiv.2305.10701,
title = {Personalization as a Shortcut for Few-Shot Backdoor Attack against Text-to-Image Diffusion Models},
author = {Yihao Huang and Felix Juefei-Xu and Qing Guo and Jie Zhang and Yutong Wu and Ming Hu and Tianlin Li and Geguang Pu and Yang Liu},
journal= {arXiv preprint arXiv:2305.10701},
year = {2023}
}
备注
16 pages, accepted by AAAI 2024