探寻查询性能预测的局限：失败、洞见及其对选择性查询处理的影响

查询性能预测（QPP）估计检索系统对给定查询的有效性，为搜索有效性和查询处理提供有价值的见解。尽管已有大量研究，但QPP在不同检索范式和集合之间的泛化仍面临严重挑战。本文对最新QPP方法（如NQC、UQC）、LETOR特征以及新探索的稠密预测器进行了全面评估。我们使用多样化的稀疏排序器（BM25、DFree，带无查询扩展和无查询扩展）以及混合型或稠密型排序器（SPLADE和ColBert），并针对ROBUST、GOV2、WT10G和MS MARCO等多样化测试集合，研究预测值与实际性能之间的关系，重点关注泛化性和鲁棒性。结果显示，预测器准确性存在显著差异，其中集合因素居首，其次是排序器。某些稀疏预测器在某些集合（TREC ROBUST和GOV2）上表现尚可，但在其他集合（WT10G和MS-MARCO）上无法泛化。尽管某些预测器在特定情境下显示出前景，但其总体局限性限制了其在实际应用中的实用性。我们指出，QPP驱动的选择性查询处理仅带来有限的收益，强调需要改进的预测器能够跨集合泛化、与稠密检索架构保持一致，并且对下游应用具有实用性。