基于大语言模型的高效零样本排序的集合式方法
信息检索
2024-05-31 v2 人工智能
摘要
我们提出了一种基于大语言模型（LLMs）的新型零样本文档排序方法：集合式（Setwise）提示方法。我们的方法补充了现有的基于 LLM 的零样本排序提示方法：逐点式、成对式和列表式。通过在一致实验框架内的首创对比评估，并考虑模型大小、令牌消耗、延迟等因素，我们表明现有方法固有地以有效性与效率之间的权衡为特征。我们发现，虽然逐点式方法在效率上得分高，但有效性较差。相反，成对式方法展现出更优的有效性但带来高计算开销。我们的集合式方法相较于先前方法，减少了排序过程中的 LLM 推断次数和提示令牌消耗量。这显著提升了基于 LLM 的零样本排序的效率，同时也保持了高零样本排序有效性。我们在 \url{https://github.com/ielab/llm-rankers} 公开了代码与结果。
引用
@article{arxiv.2310.09497,
title = {A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models},
author = {Shengyao Zhuang and Honglei Zhuang and Bevan Koopman and Guido Zuccon},
journal= {arXiv preprint arXiv:2310.09497},
year = {2024}
}
备注
SIGIR2024 full paper