面向文本排序的大语言模型两阶段自适应方法
信息检索
2024-06-04 v3
摘要
文本排序是信息检索中的一项关键任务。预训练语言模型（PLMs）特别是大语言模型（LLMs）的最新进展，为将其应用于文本排序带来了新的机遇。尽管利用排序数据进行的监督微调（SFT）已被广泛探索以更好地使PLMs与文本排序目标对齐，但以往研究主要关注仅编码器及编码器-解码器PLMs。关于利用仅解码器LLMs进行文本排序的研究仍然稀少。RankLLaMA是一个例外，它使用直接SFT来探索LLaMA在文本排序上的潜力。在本工作中，我们提出一种两阶段渐进式范式，以更好地使LLMs适应文本排序。首先，我们在大规模弱监督语料上对LLMs进行持续预训练（CPT）。其次，我们执行SFT，并基于RankLLaMA提出一种改进的优化策略。我们在多个基准上的实验结果表明，我们的方法在域内和域外场景下均优于以往方法。
引用
@article{arxiv.2311.16720,
title = {A Two-Stage Adaptation of Large Language Models for Text Ranking},
author = {Longhui Zhang and Yanzhao Zhang and Dingkun Long and Pengjun Xie and Meishan Zhang and Min Zhang},
journal= {arXiv preprint arXiv:2311.16720},
year = {2024}
}
备注
Accepted to Findings of ACL 2024. Code and models available at https://github.com/Alibaba-NLP/RankingGPT