RAG 微调中的参数化知识与检索行为：面向电子设计自动化的研究
计算与语言
2026-03-25 v1 人工智能
计算工程、金融与科学
摘要
检索增强生成（RAG）微调在 vanila RAG 基础上展现出显著的改进，但大多数研究聚焦于文档问答任务，且依赖标准 NLP 指标，这些指标可能掩盖事实差异。我们评估了 RAG 微调在电子设计自动化领域的长文本生成应用，针对五种不同的上下文增强策略并考虑不同的检索条件，对 7B 模型进行适配。我们引入 TriFEX—a 一个经人类验证的基于三元组的评估管线，该管线将生成的主张归因于其来源—用户查询、上下文与参考文献——并提出参数化知识精度（PKP），该指标通过过滤提示中泄露的主张来隔离内部化的知识。我们表明 ROUGE 和 BERTScore 未能检测到我们基于三元组评估所揭示的事实差异。此外，我们展示了一个现有知识内化指标对检索条件敏感，约 75% 的跨条件方差来源于内部知识表达率（PR）的变化，而非其实际正确性（PKP）的变化。微调后的 7B 变体在大多数指标上超越 72B 基线，进一步显示在不同条件下的泛化能力以及在相关基准上的表现。这些结果凸显了 RAG 评估中可用指标的局限性，表明更小的模型可被合理地适应以 specialized任务，以实现成本效益的本地部署。
引用
@article{arxiv.2603.23047,
title = {Parametric Knowledge and Retrieval Behavior in RAG Fine-Tuning for Electronic Design Automation},
author = {Julian Oestreich and Maximilian Bley and Frank Binder and Lydia Müller and Maksym Sydorenko and André Alcalde},
journal= {arXiv preprint arXiv:2603.23047},
year = {2026}
}