医疗AI代理的新兴网络攻击风险
密码学与安全
2025-04-08 v1 人工智能
摘要
由大语言模型（LLM）驱动的AI代理在解决医疗和健康领域的挑战方面表现出高度自主性。凭借能够访问多种工具的能力，AI代理可以在开放的行动空间内运作。然而，随着自主性和能力的提升，亦伴随不可预见的风险。本文聚焦于一种特定风险，即医疗AI代理的网络攻击漏洞，因为代理可通过网页浏览工具访问互联网。我们揭示了通过嵌入于网页中的对抗性提示，网络攻击者可以：i) 将虚假信息注入代理的响应中；ii) 强制代理操纵建议（例如医疗产品和服务）；iii) 攻击者还可窃取用户与代理之间历史对话，导致泄露敏感/私人医疗信息；iv) 此外，受目标代理影响的系统也可能遭到控制，通过返回恶意URL来实现计算机系统被劫持。我们考察了不同的主干LLM，发现此类网络攻击可在大多数主流LLM驱动的代理中成功，尤其是基于推理模型（如DeepSeek-R1）的代理最为脆弱。
引用
@article{arxiv.2504.03759,
title = {Emerging Cyber Attack Risks of Medical AI Agents},
author = {Jianing Qiu and Lin Li and Jiankai Sun and Hao Wei and Zhe Xu and Kyle Lam and Wu Yuan},
journal= {arXiv preprint arXiv:2504.03759},
year = {2025}
}