开源 LLM 漏洞扫描器的洞见与当前差距：比较分析

本报告对开源大型语言模型（LLM）漏洞扫描器进行比较分析。随着LLM越来越 integral到各种应用中，它们也暴露于潜在的攻击面，面临信息泄露和越狱攻击等安全风险。我们的研究评估了主要的扫描器——Garak、Giskard、PyRIT和CyberSecEval——这些扫描器采用红队实践以暴露这些漏洞。我们详细描述了这些扫描器的独特特征和实际用途，概述了其设计的统一原则，并进行定量评估进行比较。这些评估揭示了这些扫描器在检测成功攻击方面存在显著的可靠性问题，凸显了未来发展的根本性差距。此外，我们贡献了一个初步标记数据集，作为弥合这一差距的第一步。基于上述内容，我们提供了战略性建议，以帮助组织在选择适合其红队测试需求的扫描器，同时考虑可定制性、测试套件的全面性以及行业特定的用例。