检索增强扩散模型的后门漏洞揭示
计算机视觉与模式识别
2026-04-15 v4
摘要
扩散模型（DM）最近在生成能力方面表现突出。然而，其训练通常需要巨大的计算资源和大规模数据集。为解决此问题，近期研究采用高级检索增强生成（RAG）技术，提出检索增强扩散模型（RDM）。通过融合来自辅助数据库的丰富知识，RAG 在显著降低模型参数的同时，增强了扩散模型的生成和泛化能力。尽管取得了显著成功，但RAG可能引入值得进一步调查的新型安全问题。本文提出一种多模态对比攻击方法BadRDM，揭示RDM易受后门攻击。该框架充分考虑RAG的特征，旨在操控给定文本触发器的检索项目，从而进一步控制生成内容。具体而言，我们首先将少量图像插入检索数据库作为目标毒性替代品。随后，采用恶意变体的对比学习，将后门注入检索器，该检索器从触发器到毒性替代品之间建立捷径。此外，我们通过新颖的熵基选择和生成式数据增强策略，以获得更好的毒性替代品。广泛实验表明，所提出的BadRDM在保持模型良好实用性的同时，实现了卓越的攻击效果。
引用
@article{arxiv.2501.13340,
title = {Retrievals Can Be Detrimental: Unveiling the Backdoor Vulnerability of Retrieval-Augmented Diffusion Models},
author = {Hao Fang and Xiaohang Sui and Hongyao Yu and Kuofeng Gao and Jiawei Kong and Sijin Yu and Bin Chen and Shu-Tao Xia},
journal= {arXiv preprint arXiv:2501.13340},
year = {2026}
}
备注
Accepted by ACL-2026