面向神经信息检索的查询性能预测：我们是否已经就绪？
信息检索
2023-02-21 v1
摘要
信息检索的评估依赖于事后经验性流程，这些操作耗时且昂贵。为缓解此问题，查询性能预测（QPP）模型被开发出来，用以在无需人工相关性判据的情况下估计系统性能。此类模型通常依赖查询与语料的词汇特征，已应用于传统稀疏 IR 方法——取得不同程度的成功。随着神经 IR 与大型预训练语言模型的出现，检索范式已显著转向更具语义信号的模式。在本工作中，我们研究并分析当前 QPP 模型在多大程度上可预测此类系统的性能。我们的实验考虑了七种传统词袋方法和七种基于 BERT 的 IR 方法，以及在两个数据集 Deep Learning '19 和 Robust '04 上评估的十九种最先进 QPP。我们的发现表明，QPP 在神经 IR 系统上的表现统计显著更差。在语义信号突出的场景（如段落检索）中，其与词袋方法相比在神经模型上的性能下降多达 10%。此外，在面向词汇的场景中，对于那些神经 IR 系统与传统方法差异最大的查询，QPP 无法预测其性能。
引用
@article{arxiv.2302.09947,
title = {Query Performance Prediction for Neural IR: Are We There Yet?},
author = {Guglielmo Faggioli and Thibault Formal and Stefano Marchesin and Stéphane Clinchant and Nicola Ferro and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2302.09947},
year = {2023}
}