ALoFTRAG：检索增强生成中的自动局部微调
机器学习
2025-01-22 v1
摘要
检索增强生成（RAG）系统已被证明可提高大型语言模型（LLM）输出的准确性。然而，这些模型在应用于新数据领域时常常达不到低准确率。我们引入了面向检索增强生成模型的自动局部微调框架（ALoFTRAG），旨设计算在给定领域内提升RAG系统的准确率，而无需人工标注数据或使用更大的教师模型。通过生成和过滤合成训练数据并执行LoRA微调，ALoFTRAG在26种语言的20个数据集上显著提升了引用和答案准确率，平均分别提升了8.3%和3.0%。我们的结果表明，ALoFTRAG提供了一种实用、高性价比且数据安全的解决方案，能够提升RAG准确率，特别适用于如医疗和金融等敏感领域。
引用
@article{arxiv.2501.11929,
title = {ALoFTRAG: Automatic Local Fine Tuning for Retrieval Augmented Generation},
author = {Peter Devine},
journal= {arXiv preprint arXiv:2501.11929},
year = {2025}
}