揭示 LLM 集成应用中的 RCE 漏洞
密码学与安全
2025-02-28 v4
摘要
LLM(大语言模型)在变革软件开发方面展现出潜力，将之集成到更智能应用中的兴趣日益增长。LangChain 等框架助力 LLM 集成应用开发，提供用于自定义动作的代码执行工具/API。然而，这些能力在理论上引入了远程代码执行(RCE)漏洞，可通过提示注入实现远程代码执行。此前尚无研究系统性地调查这些框架的 RCE 漏洞及其对应用的影响与利用后果。因此该领域存在巨大研究空白。在本研究中，我们提出 LLMSmith 来检测、验证并利用 LLM 集成框架与应用中的 RCE 漏洞。为实现该目标，我们开发了两项新技术：1) 轻量级静态分析以检查 LLM 集成机制，并构建调用链以识别框架中的 RCE 漏洞；2) 系统化的基于提示的利用方法，以验证并利用 LLM 集成应用中发现的漏洞。该技术包含多种策略来控制 LLM 输出、触发 RCE 漏洞并发动后续攻击。我们的研究在 11 个 LLM 集成框架中总计发现 20 个漏洞，包括 19 个 RCE 漏洞和 1 个任意文件读/写漏洞。其中 17 个已获框架开发者确认，11 个漏洞被分配了 CVE 编号。对于可能受 RCE 影响的 51 个应用，我们成功对 17 个应用实施了攻击，其中 16 个存在 RCE 漏洞，1 个存在 SQL 注入漏洞。此外，我们对这些漏洞进行了全面分析，并构造实际攻击以展示现实危害。最后，我们为框架与应用开发者提出若干缓解措施以抵御此类攻击。
引用
@article{arxiv.2309.02926,
title = {Demystifying RCE Vulnerabilities in LLM-Integrated Apps},
author = {Tong Liu and Zizhuang Deng and Guozhu Meng and Yuekang Li and Kai Chen},
journal= {arXiv preprint arXiv:2309.02926},
year = {2025}
}