通过 RAFT 提升 LLM 在 EDA 任务中的表现
计算与语言
2025-06-10 v1
摘要
电子设计工程师常常难以高效获取设计验证和技术开发等任务所需的相关信息。虽然大型语言模型（LLM）可作为对话式智能体提高生产力，但预训练的开源 LLM 缺乏针对电子设计自动化（EDA）的领域特定知识。在检索增强生成（RAG）上下文中，LLM 依赖外部上下文，但仍可能产生不准确的响应。检索增强微调（RAFT）可提高 LLM 性能，但在 EDA 中获取标注好的问答（Q/A）数据困难。为此，我们提出使用合成 Q/A 数据集来增强 LLM 的 RAFT 能力。我们的结果表明，带有合成数据的 RAFT 显著提升了 LLM 在 RAG 基础 EDA 任务中的性能。我们还研究了使用真实用户提问作为检索增强少样（RAFS）示例进行合成数据生成的影响。此外，我们实施了安全访问控制，确保敏感信息仅限授权人员访问。最后，我们评估了在使用合成数据进行微调期间的数据泄露和意外记忆的风险，提供了实用见解。
引用
@article{arxiv.2506.06500,
title = {Improving LLM-Powered EDA Assistants with RAFT},
author = {Luyao Shi and Michael Kazda and Charles Schmitter and Hemlata Gupta},
journal= {arXiv preprint arXiv:2506.06500},
year = {2025}
}
备注
Accepted paper at IEEE International Conference on LLM-Aided Design, 2025 (LAD 2025)