AQUA-LLM: Evaluating Accuracy, Quantization, and Adversarial Robustness Trade-offs in LLMs for Cybersecurity Question Answering
密码学与安全
2025-09-18 v1
摘要
大型语言模型(LLM)最近在网络安全问答方面展现出强大的潜力，支持实时威胁检测和响应工作流程中的决策。然而，其巨大的计算需求对于部署在资源受限的边缘设备构成了重大挑战。量化是一种广泛采用的模型压缩技术，可缓解这些限制。然而，量化可能会降低模型准确度并增加对对抗性攻击的敏感性。微调是缓解这些限制的潜在方法，但其与量化组合的效果尚未得到充分探索。因此，了解准确度、效率和鲁棒性之间的权衡至关重要。我们提出AQUA-LLM，一个用于评估多个先进小型LLM在四种不同配置下(基线、仅量化、微调后、量化与微调组合)针对网络安全问答的评估框架。我们的结果表明，仅量化导致准确度和鲁棒性最低，尽管提高了效率。相比之下，结合量化与微调可同时提升LLM的鲁棒性和预测性能，在准确度、鲁棒性和效率之间实现了最佳平衡。这些发现凸显了针对网络安全问答的LLM进行量化感知、鲁棒性保留微调方法的关键需求，以实现其稳健且高效的部署。
引用
@article{arxiv.2509.13514,
title = {AQUA-LLM: Evaluating Accuracy, Quantization, and Adversarial Robustness Trade-offs in LLMs for Cybersecurity Question Answering},
author = {Onat Gungor and Roshan Sood and Harold Wang and Tajana Rosing},
journal= {arXiv preprint arXiv:2509.13514},
year = {2025}
}
备注
Accepted by the 24th IEEE International Conference on Machine Learning and Applications (ICMLA'25)