当RAG聊天机器人暴露其后端：面向患者医疗AI中隐私与安全风险的匿名案例研究

背景：基于检索增强生成（RAG）的面向患者医疗聊天机器人正日益被推广，以提供可获取的、有依据的健康信息。AI辅助开发降低了构建它们的门槛，但它们仍然需要严格的安全、隐私和治理控制。目的：报告对一个可公开访问的面向患者医疗RAG聊天机器人的匿名、非破坏性安全评估，并确定安全部署生成式AI在健康领域的治理经验。方法：我们采用了两阶段策略。首先，Claude Opus 4.6支持了探索性的基于提示的测试和结构化漏洞假设。其次，使用Chrome开发者工具手动验证候选发现，检查浏览器可见的网络流量、有效负载、API模式、配置对象和存储的交互数据。结果：LLM辅助阶段识别出一个关键漏洞：敏感的系统和RAG配置似乎通过客户端-服务器通信暴露，而非限制在服务器端。手动验证证实，普通的浏览器检查即可收集系统提示、模型和嵌入配置、检索参数、后端端点、API模式、文档和块元数据、知识库内容以及最近的1000次患者-聊天机器人对话。该部署也与其隐私保证相矛盾：包括健康相关查询在内的完整对话记录，无需身份验证即可检索。结论：使用标准浏览器工具，无需专业技能或身份验证即可识别面向患者RAG聊天机器人中的严重隐私和安全缺陷；独立审查应成为部署的先决条件。商业LLM加速了此评估，包括在虚假开发者角色下；审计人员可获得的帮助同样可被对手获得。