AI生成补丁有多安全？基于SWE-bench的LLM和智能体自动化程序修复大规模安全风险研究
密码学与安全
2025-12-30 v3 机器学习
软件工程
摘要
大型语言模型（LLM）及其智能体框架日益被采用于执行开发任务，如自动化程序修复（APR）。尽管已有研究在LLM生成代码中识别了安全风险，但大多数研究聚焦于人工、简化或孤立的任务，这些任务缺乏真实世界程序修复的复杂性。本研究提出了首个针对LLM生成补丁的大规模安全分析，使用20,000多个GitHub问题进行评估。我们评估了由开发者提出的补丁、一个独立的LLM（Llama 3.3 Instruct-70B），以及三个顶级智能体框架（OpenHands、AutoCodeRover、HoneyComb）。最终我们分析了广泛的代码、问题和项目层面的因素，以理解在何种条件下更容易生成不安全补丁的情形。我们的发现表明，Llama引入了许多新的漏洞，呈现出独特的模式，这些模式在开发者代码中并不存在。智能体工作流程也会生成一定数量的漏洞，特别是在获得更多自主权时。我们发现，LLM生成的补丁中的漏洞与特定的代码特征相关，且常见于缺乏特定类型信息的问题中。这些结果表明，上下文因素在生成补丁的安全性中发挥关键作用，并指向需要考虑问题和代码层面信息的主动风险评估方法的需求。
引用
@article{arxiv.2507.02976,
title = {How Safe Are AI-Generated Patches? A Large-scale Study on Security Risks in LLM and Agentic Automated Program Repair on SWE-bench},
author = {Amirali Sajadi and Kostadin Damevski and Preetha Chatterjee},
journal= {arXiv preprint arXiv:2507.02976},
year = {2025}
}