多模态检索增强生成中的隐私漏洞解析
密码学与安全
2025-05-21 v1 计算与语言
摘要
多模态检索增强生成 (MRAG) 系统通过整合外部多模态数据库来提升大型语言模型 (LMM) 的性能，但引入了未探索的隐私漏洞。虽然已研究了基于文本的 RAG 隐私风险，但多模态数据呈现独特挑战。我们首次系统性分析了 MRAG 隐私漏洞，涵盖视觉-语言和语音-语言模态。通过一种新颖的结构化提示攻击在黑箱环境中，我们展示了攻击者如何通过操控查询来提取私人信息。我们的实验表明，LMM 既可以直接生成类似检索内容的输出，又可产生间接暴露敏感信息的描述，凸显了需要 robust隐私保护 MRAG 技术的紧迫性。
引用
@article{arxiv.2505.13957,
title = {Beyond Text: Unveiling Privacy Vulnerabilities in Multi-modal Retrieval-Augmented Generation},
author = {Jiankun Zhang and Shenglai Zeng and Jie Ren and Tianqi Zheng and Hui Liu and Xianfeng Tang and Hui Liu and Yi Chang},
journal= {arXiv preprint arXiv:2505.13957},
year = {2025}
}