面向特定领域网络安全知识的大型语言模型微调
机器学习
2025-10-01 v1 密码学与安全
摘要
大型语言模型训练范式的最新进展解锁了其在自然语言处理和跨领域泛化方面的卓越能力。尽管 LLM 在编程和数学问题求解等任务中表现出色，但其在需要专家知识的特定领域（如网络安全）的零样本性能往往不佳。这一局限性源于基础 LLM 面向通用应用设计，限制了其将特定领域专业知识封装在参数空间内的能力。为解决这一问题，我们探索了将网络安全知识嵌入 LLM 的微调策略，在优先考虑计算效率的同时，提升其在网络安全问答（Q\&A）任务中的表现。具体而言，我们使用一个网络安全问答数据集研究了监督微调（SFT）、低秩适配和量化低秩适配。我们的结果表明，这些微调方法在网络安全问答任务中显著优于基础模型。此外，LoRA 和 QLoRA 以大幅降低的计算成本取得了与 SFT 相当的性能，为将 LLM 适配至特定领域提供了高效途径。我们的工作突显了低秩微调策略在弥合通用 LLM 与特定领域应用之间差距方面的潜力。
引用
@article{arxiv.2509.25241,
title = {Fine-tuning of Large Language Models for Domain-Specific Cybersecurity Knowledge},
author = {Yuan Huang},
journal= {arXiv preprint arXiv:2509.25241},
year = {2025}
}