RankVicuna：基于开源大语言模型的零样本列表式文档重排序
信息检索
2023-09-27 v1 计算与语言
摘要
研究者已成功将诸如 ChatGPT 等大语言模型（LLMs）应用于信息检索场景下的重排序，但迄今为止，此类工作大多构建在隐藏于不透明 API 端点之后的专有模型之上。这种方法产生的实验结果不可复现且非确定性，威胁到建立于如此脆弱基础之上的研究结论的真实性。为解决这一显著缺陷，我们提出 RankVicuna，这是首个能够在零样本设定下执行高质量列表式重排序的完全开源 LLM。在 TREC 2019 和 2020 深度学习赛道上的实验结果表明，我们仅用小得多的 7B 参数模型即可达到与 GPT-3.5 零样本重排序相当的效果，尽管我们的效果仍略逊于使用 GPT-4 的重排序。我们希望我们的工作为未来基于现代 LLM 的重排序研究提供基础。复现我们结果所需的全部代码可在 https://github.com/castorini/rank_llm 获取。
引用
@article{arxiv.2309.15088,
title = {RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models},
author = {Ronak Pradeep and Sahel Sharifymoghaddam and Jimmy Lin},
journal= {arXiv preprint arXiv:2309.15088},
year = {2023}
}