LLM 智能体能够自主利用一日漏洞
密码学与安全
2024-04-18 v2 人工智能
摘要
LLM 变得越来越强大，无论是在良性还是恶意用途上。随着能力的提升，研究人员对其利用网络安全漏洞的能力越来越感兴趣。特别是，最近的工作对 LLM 智能体自主攻击网站的能力进行了初步研究。然而，这些研究仅限于简单的漏洞。在这项工作中，我们表明 LLM 智能体能够自主利用真实世界系统中的一日漏洞。为了证明这一点，我们收集了一个包含 15 个一日漏洞的数据集，其中包括在 CVE 描述中被归类为严重严重级别的漏洞。当给定 CVE 描述时，GPT-4 能够利用其中 87% 的漏洞，而我们测试的其他所有模型（GPT-3.5、开源 LLM）和开源漏洞扫描器（ZAP 和 Metasploit）的利用率为 0%。幸运的是，我们的 GPT-4 智能体需要 CVE 描述才能实现高性能：如果没有该描述，GPT-4 只能利用 7% 的漏洞。我们的发现引发了关于广泛部署高能力 LLM 智能体的疑问。
引用
@article{arxiv.2404.08144,
title = {LLM Agents can Autonomously Exploit One-day Vulnerabilities},
author = {Richard Fang and Rohan Bindu and Akul Gupta and Daniel Kang},
journal= {arXiv preprint arXiv:2404.08144},
year = {2024}
}