导入幽灵：测量 LLM 软件包幻觉漏洞
机器学习
2025-02-03 v1 计算与语言
密码学与安全
摘要
大型语言模型（LLM）已成为程序员工具包中的重要工具，但其倾向于生成幻觉代码可被恶意行为者利用，以引入针对广泛软件供应链的安全漏洞。本文分析了LLM在流行编程语言中关于软件包幻觉行为的现状，考察现有软件包引用及虚构依赖关系。通过分析软件包幻觉行为，我们发现潜在的攻击方式并提出防御策略以抵御此类攻击。我们发现软件包幻觉率不仅取决于模型选择，还取决于编程语言、模型规模以及编码任务的具体性。代码生成性能与软件包幻觉之间之间的帕累托最优边界稀疏，表明编码模型未针对安全代码进行优化。此外，我们发现软件包幻觉率与HumanEval编码基准之间呈现反相关，这为评估模型倾向于生成幻觉软件包提供了一种启发式方法。我们提出的指标、发现与分析为未来的模型提供了基础，帮助确保AI辅助软件开发工作流程抵御软件包供应链攻击。
引用
@article{arxiv.2501.19012,
title = {Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities},
author = {Arjun Krishna and Erick Galinkin and Leon Derczynski and Jeffrey Martin},
journal= {arXiv preprint arXiv:2501.19012},
year = {2025}
}