离散化对代码 LLM 中的 Trojans 影响的捕捉
软件工程
2025-05-21 v1
摘要
代码大语言模型在执行多样化的软件工程任务（如代码翻译、缺陷检测、文本到代码生成和代码摘要）方面展现出高强能力。尽管其提升开发者生产力的能力使其广泛应用，但这些模型规模不断增长，常常达到数十亿参数。此种规模要求高效的内存资源使用，促使实践者采用模型量化等优化技术。量化使用更小的位表示表示模型参数，降低权重的精度。本文探讨了量化对这些模型数据投毒攻击风险的影响，具体检视其是否缓解或加剧此类漏洞。我们聚焦两款大语言模型——Meta 的 Llama-2-7b 和 CodeLlama-7b，应用于 SQL 代码生成任务。此外，我们引入一种新指标，用于衡量受损模型中的 Trojans 信号。我们发现量化对代码生成 LLM 的影响各不相同：虽然降低精度未显著改变 Llama-2 的行为，但在 CodeLlama 中，尤其是 4 位精度下，量化提升了性能并降低了攻击成功率。
引用
@article{arxiv.2505.14200,
title = {Capturing the Effects of Quantization on Trojans in Code LLMs},
author = {Aftab Hussain and Sadegh AlMahdi Kazemi Zarkouei and Md Rafiqul Islam Rabin and Mohammad Amin Alipour and Sen Lin and Bowen Xu},
journal= {arXiv preprint arXiv:2505.14200},
year = {2025}
}