Llama-3.1-FoundationAI-SecurityLLM-Base-8B 技术报告
密码学与安全
2025-05-01 v1 人工智能
摘要
随着基于Transformer的大语言模型(LLM)日益渗透到各个领域，已在软件工程、创意写作和数字艺术等领域取得突破。然而，其在网络安全领域的采用仍有限，主要受数据稀缺和难以表征网络安全特定知识的挑战制约。为解决这些差距，我们提出Foundation-Sec-8B，这是一个基于Llama 3.1架构构建的网络安全专注型LLM，通过在精心策划的网络安全语料库上进行持续预训练而获得增强。我们在既定和新的网络安全基准测试中对Foundation-Sec-8B进行评估，表明在某些网络安全特定任务中，它匹配Llama 3.1-70B和GPT-4o-mini的性能。通过发布我们的模型，我们旨在加速AI驱动工具在公共和私营网络安全领域的进展和采用。
引用
@article{arxiv.2504.21039,
title = {Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report},
author = {Paul Kassianik and Baturay Saglam and Alexander Chen and Blaine Nelson and Anu Vellore and Massimo Aufiero and Fraser Burch and Dhruv Kedia and Avi Zohary and Sajana Weerawardhena and Aman Priyanshu and Adam Swanda and Amy Chang and Hyrum Anderson and Kojin Oshiba and Omar Santos and Yaron Singer and Amin Karbasi},
journal= {arXiv preprint arXiv:2504.21039},
year = {2025}
}