超越 QA 配对：评估大语言模型中参数高效微调的事实嵌入
计算与语言
2025-10-28 v2 人工智能
摘要
本文对参数高效微调 (PEFT) 用于将领域特定事实嵌入大语言模型 (LLM) 的做法进行了广泛检视，重点关注通过基于 BERT 的分类器将问题-答案 (QA) 配对分为 Factual 和 Conceptual 两类以提高微调过程。我们对两种 Llama-2 模型进行了基于这些分类的微调，并使用更大模型如 GPT-3.5 Turbo 和 Gemini 进行评估。我们的结果表明，基于概念数据集训练的模型优于基于事实数据集训练的模型。此外，我们比较了两种人工合成微调数据集生成技术（D-RAG 和 D-Naive）的效率，D-Naive 显示出更好的性能。尽管 PEFT 已显示出其在嵌入事实方面的有效性，但我们的研究表明它可能并非将事实嵌入 LLM 中最优的方法。然而，PEFT 在指令性任务中展现出卓越的性能。我们的发现得到 1000 样本数据中心领域数据的强化：在该数据集上，微调后的 Llama-2 7B 模型在生成产品推荐方面显著优于基线模型。本研究突显了 QA 配对分类和人工合成数据集生成技术在提高 LLM 在特定领域性能方面的重要性。
引用
@article{arxiv.2503.01131,
title = {Beyond QA Pairs: Assessing Parameter-Efficient Fine-Tuning for Fact Embedding in LLMs},
author = {Shivam Ratnakar and Abhiroop Talasila and Raghav Chamadiya and Nikhil Agarwal and Vinayak K Doifode},
journal= {arXiv preprint arXiv:2503.01131},
year = {2025}
}
备注
Presented at the Workshop on Preparing Good Data for Generative AI: Challenges and Approaches (Good-Data) in conjunction with AAAI 2025. The authors retain the copyright