K-ASTRO：面向代码漏洞检测的 LLM 结构感知适配
软件工程
2025-10-15 v3 机器学习
摘要
大语言模型（LLM）正在变革软件工程任务，包括代码漏洞检测这一软件安全的关键领域。然而，现有方法常依赖资源密集型模型或基于图的技术，限制了其可及性与实用性。本文提出 K-ASTRO，一种轻量级 Transformer 模型，它结合来自 LLM 的语义嵌入与抽象语法树（AST）的结构特征，以提升代码漏洞检测的效率与准确率。我们的方法引入了一种受变异测试启发的基于 AST 的增强技术、一种融合增强 AST 特征的结构感知注意力机制，以及一条统一代码语义与语法的联合适配流水线。在包括 BigVul、DiverseVul 和 PrimeVul 在内的三个大规模数据集上的实验结果表明，该方法取得了最先进的性能，同时能在 CPU 上以极短训练时间实现快速推理。通过提供可扩展、可解释且高效的方案，K-ASTRO 弥合了 LLM 进展与实际软件漏洞检测之间的鸿沟，并提供了开源工具以促进进一步研究。
引用
@article{arxiv.2208.08067,
title = {K-ASTRO: Structure-Aware Adaptation of LLMs for Code Vulnerability Detection},
author = {Yifan Zhang and Michael Sandborn and Stefan Larson and Yu Huang and Kevin Leach},
journal= {arXiv preprint arXiv:2208.08067},
year = {2025}
}