Hybrid-NL2SVA：集成 RAG 与微调的 LLM 驱动 NL2SVA 方法

Weihua Xiao; Derek Ekberg; Siddharth Garg; Ramesh Karri

Hybrid-NL2SVA：集成 RAG 与微调的 LLM 驱动 NL2SVA 方法

计算与语言 2025-06-30 v1 人工智能

作者: Weihua Xiao , Derek Ekberg , Siddharth Garg , Ramesh Karri

摘要

SystemVerilog 断言（SVA）是验证硬件设计正确性的关键手段，但从自然语言属性描述手动编写 SVA 仍是耗时且易出错的任务。近期大型语言模型（LLM）的进展为自动化这一翻译提供了可能。然而，现有模型仍难以理解领域特定的语法与语义。为提升 LLM 在 NL2SVA 任务中的表现，我们提出一种定制化检索增强生成（RAG）框架，搭配合成微调数据集，共同改善 LLM 的性能。为进一步提升轻量模型在 NL2SVA 上的表现，我们提供的微调数据集包含引导式解释，教会 LLM 逐层构建并发 SVA 的过程，实现监督式微调，显著提升语法和功能准确性。为评估 LLM 在 NL2SVA 上的表现，我们构建了最大规模的评估数据集，包含 40 个 Verilog 设计和 229 个经过形式化验证的 SVA，配有详细注释。实验结果表明，定制化 RAG 框架相比 GPT-4o-mini 将功能匹配的 SVA 数量提高 58.42%；在我们的微调数据集上进行微调并结合 HybridRetrieval 的 Qwen2.5-Coder-7B-Instruct 相较于基础 Qwen 模型提升 59.05%。

关键词

SystemVerilog 断言自然语言转 SVA 检索增强生成微调硬件验证 Qwen GPT-4o-mini Verilog

引用

@article{arxiv.2506.21569,
  title  = {Hybrid-NL2SVA: Integrating RAG and Finetuning for LLM-based NL2SVA},
  author = {Weihua Xiao and Derek Ekberg and Siddharth Garg and Ramesh Karri},
  journal= {arXiv preprint arXiv:2506.21569},
  year   = {2025}
}

Hybrid-NL2SVA：集成 RAG 与微调的 LLM 驱动 NL2SVA 方法

摘要

关键词

引用

相关论文