大语言模型通过配对排序提示成为高效的文本排序器

利用大语言模型（LLMs）通过将查询和候选文档直接输入提示来对文档进行排序是一个有趣且实际的问题。然而，研究者发现难以在基准数据集上超越微调的基线排序器。我们分析了现有方法使用的逐点排序提示和列表式排序提示，并认为现成的 LLM 并未完全理解这些具有挑战性的排序形式。在本文中，我们提出通过使用一种称为配对排序提示（PRP）的新技术来显著减轻 LLM 的负担。我们的结果是文献中首次使用中等规模的开源 LLM 在标准基准上实现最先进的排序性能。在 TREC-DL 2019&2020 上，基于具有 200 亿参数的 Flan-UL2 模型的 PRP 表现优于文献中先前的最佳方法，后者基于具有约 50 倍（估计）模型规模的黑盒商业 GPT-4，同时以所有排序指标上超过 10% 的优势超越其他基于 LLM 的方案，例如具有 1750 亿参数的 InstructGPT。通过在七个 BEIR 任务上使用相同的提示模板，PRP 在平均 NDCG@10 上超越有监督基线，并比黑盒商业 ChatGPT 方案高出 4.2%，比基于逐点 LLM 的方案高出 10% 以上。此外，我们提出了 PRP 的若干变体以提高效率，并表明即使以线性复杂度也有可能取得有竞争力的结果。