RankZephyr：高效且鲁棒的零样本列表式重排序易如反掌！
信息检索
2023-12-06 v1
摘要
在信息检索领域，GPT-4等专有大型语言模型（LLM）以及LLaMA和Vicuna等开源替代模型在重排序中发挥了至关重要的作用。然而，开源模型与闭源模型之间的差距依然存在，对专有、不透明模型的依赖限制了可复现性。为弥合这一差距，我们提出了RankZephyr——一个用于列表式零样本重排序的最先进的开源LLM。RankZephyr不仅弥合了与GPT-4在有效性上的差距，而且在某些情况下超越了该专有模型。我们在多个数据集（TREC深度学习赛道；BEIR中的NEWS和COVID）上的综合评估展示了这一能力。RankZephyr得益于策略性的训练选择，并且对初始文档排序和重排序文档数量的变化具有鲁棒性。此外，我们的模型在NovelEval测试集上优于GPT-4，该测试集包含其训练期之后的查询和段落，从而回应了关于数据污染的担忧。为促进这一快速发展领域的进一步研究，我们在https://github.com/castorini/rank_llm提供了复现我们结果所需的所有代码。
引用
@article{arxiv.2312.02724,
title = {RankZephyr: Effective and Robust Zero-Shot Listwise Reranking is a Breeze!},
author = {Ronak Pradeep and Sahel Sharifymoghaddam and Jimmy Lin},
journal= {arXiv preprint arXiv:2312.02724},
year = {2023}
}