DemoRank：面向排序任务的大语言模型有效演示选择方法
信息检索
2024-09-26 v2 计算与语言
摘要
最近，越来越多的研究关注将大语言模型(LLMs)作为零样本 passage ranker应用。然而，少数研究探索如何为 passage ranking任务选择合适的in-context演示，这是本文的关注点。以往的研究主要使用LLM的反馈来训练检索器以进行演示选择。这些研究将LLM应用于独立评分每个演示，忽略了演示之间的依赖关系（尤其在排序任务中至关重要），导致获取的 top-k 检索演示性能不佳。为此，我们引入一个演示reranker来rerank检索到的演示，以便更适合ICL的 top-k排名演示。然而，为这种reranker生成训练数据颇具挑战。一方面，与演示检索器不同，reranker的训练样本需要包含演示之间的依赖关系。另一方面，获取从检索到的演示中获得的金标准排序是一个NP难问题，这难以实现。为克服这些挑战，我们提出一种方法，通过迭代近似最优演示列表，并使用LLM对长度不同的演示列表进行评分。如此一来，搜索空间大大减少，同时考虑了演示之间的依赖关系。基于这些评分的演示列表，我们进一步设计了一种基于列表两两比较的训练方法，即比较仅在最后一个演示不同的两个列表，以教会reranker如何在给定前序序列后选择下一个演示。在本文中，我们提出了一个面向排序任务的演示选择框架DemoRank，并进行了大量实验以证明其强大的能力。
引用
@article{arxiv.2406.16332,
title = {DemoRank: Selecting Effective Demonstrations for Large Language Models in Ranking Task},
author = {Wenhan Liu and Yutao Zhu and Zhicheng Dou},
journal= {arXiv preprint arXiv:2406.16332},
year = {2024}
}