EvalSVA：用于下一代软件漏洞评估的多智能体评估器

软件漏洞（SV）评估是确定 SV（例如攻击向量和范围）的不同方面，以便开发人员有效优先处理漏洞缓解的关键过程。由于 SV 的复杂性和标签数据稀缺，这一过程具有挑战性且耗费人力。为缓解上述挑战，我们引入 EvalSVA，一个多智能体评估团队，用于自主 deliberation 和评估 various aspects of SV assessment。具体而言，我们提出一种基于多智能体的框架，以模拟真实世界情境中的漏洞评估策略，该框架将多个大型语言模型（LLM）集成到一个整合的团队中，以增强在有限数据下的 SV 评估效果。我们还设计了多样化的通信策略，以自主讨论和评估 SV 的不同方面。此外，我们构建了一个基于新标准 CVSS 的多语言 SV 评估数据集，分别包含 699、888 和 1,310 个与漏洞相关的提交（C++、Python 和 Java）。我们的实验结果显示，EvalSVA 在 SV 评估方面的平均准确率和 F1 分别优于 44.12% 和 43.29%，优于先前方法。结果表明，EvalSVA 提供类似人类的过程，并为 SV 评估生成依据和答案。EvalSVA 还能帮助人类专家进行 SV 评估，提供更详尽的解释和细节。