查询性能预测有效性变异的分析
信息检索
2022-02-15 v1
摘要
查询性能预测器估计信息检索系统对给定查询的检索有效性。QPP评估的一个重要特征是，由于用于QPP评估的真实检索有效性可以用不同指标度量，真实值本身并非绝对，这与其他检索任务（如adhoc检索）形成对比。受此观点启发，本文旨在研究QPP评估中真实值的此类变异如何影响QPP实验的结果。我们不仅在所报告评估指标的绝对取值（如Pearson's 、Kendall's ）方面考虑这一点，还就不同QPP系统按QPP指标得分排序时其排名的变化进行考察。我们的实验表明，观察到的QPP结果在绝对评估指标取值和相对系统排名两方面均可能有显著变化。通过我们的分析，我们给出了可能使观察到的结果变异较小的QPP评估指标与实验设置的最优组合。
引用
@article{arxiv.2202.06306,
title = {An Analysis of Variations in the Effectiveness of Query Performance Prediction},
author = {Debasis Ganguly and Suchana Datta and Mandar Mitra and Derek Greene},
journal= {arXiv preprint arXiv:2202.06306},
year = {2022}
}