查询性能预测:从 ad-hoc 检索到对话式搜索
信息检索
2023-05-19 v1 计算与语言
机器学习
摘要
查询性能预测(QPP)是信息检索中的核心任务。QPP 任务是在无相关性判据的情况下预测搜索系统对某一查询的检索质量。研究表明 QPP 对 ad-hoc 搜索有效且有用。近年来对话式搜索(CS)取得了显著进展。有效的 QPP 可帮助 CS 系统决定下一轮应采取的适当动作。尽管有此潜力,针对 CS 的 QPP 却鲜有研究。我们通过复现并研究现有 QPP 方法在 CS 情境下的有效性来填补这一研究空白。尽管两种设置下的段落检索任务相同,CS 中的用户查询依赖于对话历史,带来了新的 QPP 挑战。具体而言,我们旨在探究 ad-hoc 搜索的 QPP 方法在多大程度上可推广到三种 CS 设置:(i) 估计基于不同查询重写的检索方法的检索质量,(ii) 估计对话式稠密检索方法的检索质量,以及 (iii) 估计顶部排序与更深排序列表的检索质量。我们的发现可总结如下:(i) 仅当存在大规模训练集时,有监督 QPP 方法明显优于无监督方法;(ii) 在大多数情况下,点级有监督 QPP 方法优于列表级方法;(iii) 基于检索分数的无监督 QPP 方法在评估对话式稠密检索方法 ConvDR 时表现出高效性。
引用
@article{arxiv.2305.10923,
title = {Query Performance Prediction: From Ad-hoc to Conversational Search},
author = {Chuan Meng and Negar Arabzadeh and Mohammad Aliannejadi and Maarten de Rijke},
journal= {arXiv preprint arXiv:2305.10923},
year = {2023}
}
备注
Accepted for publication at SIGIR 2023