微调 LLaMA 用于多阶段文本检索
信息检索
2023-10-13 v1
摘要
多阶段文本检索的有效性在预训练语言模型时代之前便已得到充分证明。然而,大多数现有研究使用的模型早于近期大语言模型(LLMs)的进展。本研究旨在探索最先进 LLMs 可带来的潜在改进。我们开展了一项全面研究,使用 MS MARCO 数据集,将最新的 LLaMA 模型分别微调为稠密检索器(RepLLaMA)和点式重排器(RankLLaMA),用于段落检索与文档检索。我们的发现表明,大语言模型的有效性确实超越了更小的模型。此外,由于 LLMs 天然可处理更长上下文,它们能够整体表示整个文档,从而免去了传统的分块与池化策略。进一步在 BEIR 上的评估表明,我们的 RepLLaMA-RankLLaMA 流水线展现出强大的零样本有效性。本研究的模型检查点已在 HuggingFace 上提供。
引用
@article{arxiv.2310.08319,
title = {Fine-Tuning LLaMA for Multi-Stage Text Retrieval},
author = {Xueguang Ma and Liang Wang and Nan Yang and Furu Wei and Jimmy Lin},
journal= {arXiv preprint arXiv:2310.08319},
year = {2023}
}