基于零样本面向排序自动评估的、在所有查询和语料库上表现卓越的分布式协同检索框架
信息检索
2024-12-17 v1
摘要
众多检索模型，包括稀疏、密集和基于LLM的方法，在预测查询与语料库之间的相关性方面表现出色。然而，初步有效性分析实验表明，这些模型在大多数查询和语料库上未能达到令人满意的性能，揭示其有效性仅限于特定场景。因此，为了解决这个问题，我们提出了一种新颖的分布式协同检索框架（DCRF），在所有查询和语料库上优于每个单一模型。具体来说，该框架将各种检索模型集成到一个统一系统中，并动态地为每个用户的查询选择最优结果。它可以轻松聚合任何检索模型并扩展到任何应用场景，展示了其灵活性和可扩展性。此外，为了降低维护和训练成本，我们设计了四种有效的大语言模型（LLM）提示策略，以评估排序质量而无需依赖标注数据。大量实验表明，所提出的框架结合8个高效检索模型，可以达到与有效列表式方法（如RankGPT和ListT5）相当的性能，同时提供更高的效率。此外，DCRF在大多数数据集上超越了所有选定的检索模型，表明我们的提示策略在面向排序的自动评估中的有效性。
引用
@article{arxiv.2412.11832,
title = {A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation},
author = {Tian-Yi Che and Xian-Ling Mao and Chun Xu and Cheng-Xin Xin and Heng-Da Xu and Jin-Yu Liu and Heyan Huang},
journal= {arXiv preprint arXiv:2412.11832},
year = {2024}
}