CIPHER：面向伦理研究人员的网络安全智能渗透测试助手

渗透测试是网络安全的关键组成部分，通常需要大量时间和精力来查找漏洞。对该领域的初学者通常受益于与社区或专家的合作方法。为此，我们开发了 CIPHER (Cybersecurity Intelligent Penetration-testing Helper for Ethical Researchers)，一个专为渗透测试任务而训练的大型语言模型。我们使用超过 300 份高质量的漏洞机器、黑客技术以及开源渗透测试工具文档进行了 CIPHER 的训练。此外，我们引入了发现、行动、推理和结果 (FARR) 流程增强，作为一种增强渗透测试写作的方法，以建立针对大型语言模型的完全自动化渗透测试模拟基准。这一方法填补了传统网络安全 Q&A 基准中的一个重要空白，为评估 AI 在动态渗透测试场景中的技术知识、推理能力和实际效用提供了真实且严格的标准。在我们的评估中，CIPHER 在提供准确建议方面在其他规模相似或更大的开源渗透测试模型以及像 Llama 3 70B 和 Qwen1.5 72B Chat 这类更大规模的领先模型中取得了最佳整体性能，尤其是在疯狂难度的机器设置上。这表明通用大型语言模型的当前能力不足以有效指导用户完成渗透测试过程。我们还讨论了通过规模化和开发更好的基准（使用 FARR 流程增强结果）进行改进的潜力。本基准将在https://github.com/ibndias/CIPHER 上公开发布。