从模型到漏洞：面向可操作的 LLM 生成漏洞报告

随着Large Language Models（LLM）基于编码的助手在软件开发中发挥越来越重要的作用，其生成的bug在整体网络安全领域中的作用也日益突出。尽管已提出多种LLM代码安全基准测试方法和改善生成代码安全的方法，但尚不清楚这些方法对广泛使用的编码LLM有何实际影响。我们展示，即便是最新的开源模型，在真实使用场景中也在最早报告的漏洞情景中仍然具有脆弱性，这表明安全-功能权衡一直阻碍了对漏洞的有效修补。为帮助解决这一问题，我们引入了一种新的严重性度量标准，该标准反映了LLM生成漏洞所带来的风险，考虑了漏洞严重性、生成概率以及诱发生成脆弱代码的提示措辞——提示暴露（PE）。为鼓励消除最严重且最常见的漏洞，我们使用PE定义了模型暴露（ME）得分，该得分指示模型生成的漏洞的严重性和普遍性。