基于大语言模型重排序的排序列表截断
信息检索
2024-04-30 v1 人工智能
计算与语言
机器学习
摘要
我们从一种新颖的“检索-再重排序”视角研究排序列表截断（RLT），即通过截断检索列表（即修剪重排序候选）来优化重排序。RLT对于重排序至关重要，因为它可以通过按查询向重排序器发送可变长度的候选列表来提高重排序效率。它还具有提高重排序有效性的潜力。尽管其重要性，但将RLT方法应用于这一新视角的研究有限。为了填补这一研究空白，我们在重排序的背景下复现了现有的RLT方法，特别是新出现的大语言模型（LLM）基于重排序。具体而言，我们从三个角度考察了关于检索的RLT已有发现在多大程度上可推广到“检索-再重排序”设置：（i）在基于LLM的重排序与词法第一阶段检索的背景下评估RLT方法，（ii）研究不同类型的第一阶段检索器对RLT方法的影响，以及（iii）研究不同类型的重排序器对RLT方法的影响。我们在TREC 2019和2020深度学习轨道上进行了实验，研究了涉及3个检索器和2个重排序器的流水线的8种RLT方法。我们获得了关于重排序背景下RLT方法的新见解。
引用
@article{arxiv.2404.18185,
title = {Ranked List Truncation for Large Language Model-based Re-Ranking},
author = {Chuan Meng and Negar Arabzadeh and Arian Askari and Mohammad Aliannejadi and Maarten de Rijke},
journal= {arXiv preprint arXiv:2404.18185},
year = {2024}
}
备注
Accepted for publication as a long paper at SIGIR 2024