多跳问题的性能预测

我们研究开放域多跳问答(QA)的查询性能预测(QPP)问题,其任务为估计在语料库上评估多跳问题的难度。尽管关于预测临时检索与QA检索模型性能的研究广泛,但对多跳问题难度估计的研究尚显不足。该问题由于检索过程的多步性、各步骤间的潜在依赖及所涉及的推理而具挑战性。为应对此挑战,我们提出multHP,一种用于预测开放域多跳问题性能的检索前新方法。我们在最大的多跳QA数据集上使用多个现代QA系统进行的广泛评估表明,所提模型是性能的强预测器,优于传统的单跳QPP模型。此外,我们展示了我们的方法可有效用于优化QA系统的参数,如待检索文档数量,从而提升整体检索性能。