查询性能预测逐点评估的可行性与鲁棒性
信息检索
2023-04-04 v1
摘要
尽管各查询的检索效果彼此相互独立，查询性能预测（QPP）系统的评估一直通过在一组完整查询上度量秩相关性来进行。这种列表式方法存在若干缺点，尤其是它不支持对单个查询评估 QPP 这一常见需求。本文提出一种逐点 QPP 框架，允许我们通过度量每个预测值与相应真实值之间的偏差，随后在一组查询上聚合结果，来评估单个查询的 QPP 系统质量。我们的实验表明，这一新方法在一系列不同目标度量与检索模型下，使 QPP 评估的方差更小。
引用
@article{arxiv.2304.00310,
title = {On the Feasibility and Robustness of Pointwise Evaluation of Query Performance Prediction},
author = {Suchana Datta and Debasis Ganguly and Derek Greene and Mandar Mitra},
journal= {arXiv preprint arXiv:2304.00310},
year = {2023}
}