Rank-without-GPT：在开源大语言模型上构建不依赖 GPT 的列表式重排序器
计算与语言
2023-12-06 v1 信息检索
摘要
基于大语言模型（LLM）的列表式重排序器是零样本下的当前最优技术。然而，目前该方向的工作全都依赖于 GPT 模型，这使其成为科学可复现性中的单点故障。此外，这也引发了担忧，即当前的研究发现可能仅适用于 GPT 模型，而非普遍适用于 LLM。在本工作中，我们解除了这一前提条件，首次构建了完全不依赖 GPT 的有效列表式重排序器。我们的段落检索实验表明，我们最佳的列表式重排序器性能超越基于 GPT-3.5 的列表式重排序器 13%，并达到了基于 GPT-4 构建的同类重排序器 97% 的有效性。我们的结果还表明，现有的专为逐点排序构建的训练数据集不足以构建此类列表式重排序器。相反，高质量的列表式排序数据是必需且至关重要的，这呼吁未来工作应致力于构建人工标注的列表式数据资源。
引用
@article{arxiv.2312.02969,
title = {Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models},
author = {Xinyu Zhang and Sebastian Hofstätter and Patrick Lewis and Raphael Tang and Jimmy Lin},
journal= {arXiv preprint arXiv:2312.02969},
year = {2023}
}