多模态医疗RAG系统的安全性：模拟漏洞与威胁
机器学习
2026-01-06 v2 人工智能
密码学与安全
摘要
增强型大型视觉语言模型（LVLMs）通过外部临床图像文本检索实现事实依托化，正在被广泛应用于医疗AI以提升事实依托。然而，这种依赖性创造了显著的攻击面。我们提出MedThreatRAG，一种新型多模态投毒框架，通过注入对抗性图像文本对系统性地探测医疗RAG系统中的漏洞。我们方法的关键创新是构建模拟半开放攻击环境，模拟允许通过用户或管道贡献定期知识库更新的真实世界医疗系统。在此设置下，我们引入并强调跨模态冲突注入（CMCI），该方法在医学图像及其配对报告之间嵌入细微的语义矛盾。这些不匹配会干扰跨模态对齐，从而降低检索和生成效果，同时保持足够合理以规避常规过滤器。虽然包括基本的文本和视觉攻击，但CMCI显示出最严重的降解。在IU-Xray和MIMIC-CXR QA任务上的评估显示，MedThreatRAG可使答案F1分数下降最高达27.66%，将LLaVA-Med-1.5 F1评分降至51.36%以下。我们的发现揭示了临床RAG系统中的根本性安全缺口，凸显了面向未来多模态医疗RAG系统开发安全设计和鲁健多模态一致性检查的紧迫需求。最后，我们给出一套简明的指南，以信息化未来多模态医疗RAG系统的安全开发。
引用
@article{arxiv.2508.17215,
title = {How to make Medical AI Systems safer? Simulating Vulnerabilities, and Threats in Multimodal Medical RAG System},
author = {Kaiwen Zuo and Zelin Liu and Raman Dutt and Ziyang Wang and Zhongtian Sun and Fan Mo and Pietro Liò},
journal= {arXiv preprint arXiv:2508.17215},
year = {2026}
}
备注
Sumbitted to 2026 ICASSP