逐步重排序：探究使用大语言模型进行重排序前的预过滤
计算与语言
2024-06-28 v1 信息检索
摘要
大语言模型（LLMs）凭借其多样的零样本能力，正在彻底改变众多自然语言处理任务。事实上，现有工作表明，LLMs在信息检索（IR）和段落重排序等许多任务中可以发挥巨大作用。然而，当前最先进的结果严重依赖于所使用的LLM的能力。目前，专有且非常大的LLM（如GPT-4）是性能最高的段落重排序器。因此，缺乏资源利用顶级LLM或无法使用闭源LLM的用户处于劣势。在本文中，我们研究了在IR中段落重排序之前使用预过滤步骤的效果。我们的实验表明，通过使用少量人工生成的相关性分数，结合LLM相关性评分，可以在重排序前有效过滤掉不相关的段落。我们的实验还表明，这种预过滤随后使LLM在重排序任务中表现显著更好。实际上，我们的结果表明，像Mixtral这样较小的模型可以与更大的专有模型（如ChatGPT和GPT-4）竞争。
引用
@article{arxiv.2406.18740,
title = {Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models},
author = {Baharan Nouriinanloo and Maxime Lamothe},
journal= {arXiv preprint arXiv:2406.18740},
year = {2024}
}