GenQREnsemble:基于零-shot LLM Ensemble的生成查询改写
信息检索
2024-04-08 v1 人工智能
计算与语言
摘要
查询改写(QR)是一组用于将用户原始搜索查询转换为更符合用户意图并改善搜索体验的文本的技术。最近,零-shot QR被证明是一个有前景的做法,由于其能够利用大型语言模型中内置的知识。借鉴基于Ensemble的提示策略在众多任务中取得的成功,我们调查它们是否可以帮助改进查询改写。在此背景下,我们提出一种基于Ensemble的提示技术GenQREnsemble,该技术利用零-shot指令的变体产生多个关键词集合,从而提高检索性能。我们进一步引入其基于检索后的变体GenQREnsembleRF,以整合伪相关反馈。在对四个IR基准进行评估后,我们发现GenQREnsemble生成更好的改写,相对于之前的零-shot最先进技术,nDCG@10提升最高可达18%,MAP提升最高可达24%。在MSMarco Passage Ranking任务上,GenQREnsembleRF使用伪相关反馈实现5%的MRR提升,使用相关反馈文档实现9%的nDCG@10提升。
关键词
引用
@article{arxiv.2404.03746,
title = {GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation},
author = {Kaustubh Dhole and Eugene Agichtein},
journal= {arXiv preprint arXiv:2404.03746},
year = {2024}
}
备注
Accepted at ECIR 2024