示例查询检索中上下文化词项排序与 BM25 的插值研究
信息检索
2022-10-12 v1
摘要
基于预训练 Transformer 语言模型的词项排序近期受到关注，因为它将 Transformer 模型的上下文化能力引入了高效的词项检索中。在本文中，我们研究了两种此类深度上下文化词项模型在示例查询（QBE）检索场景下的泛化能力，该场景以种子文档作为查询来查找相关文档。在此设定下——查询比常见关键词查询长得多——查询时进行 BERT 推理存在困难，因其涉及二次复杂度。我们研究了 TILDE 和 TILDEv2，两者均利用 BERT 分词器作为其查询编码器。采用该方法，查询时无需进行 BERT 推理，且查询可为任意长度。我们在 SciDocs 基准的四个 QBE 任务上进行了广泛评估，结果表明在示例查询检索设定下，TILDE 和 TILDEv2 的有效性仍不及交叉编码器 BERT 排序器。然而，我们观察到与 TILDE 和 TILDEv2 相比，BM25 展现出了具竞争力的排序质量，这与先前工作中关于这三种模型在短查询检索中相对性能的发现相矛盾。该结果引发了对在 QBE 设定下使用上下文化词项排序模型是否有益的疑问。我们基于这些发现，进一步研究了 TILDE（TILDEv2）与 BM25 相关性得分间的得分插值。我们得出结论，这两种上下文化词项排序模型捕获了与 BM25 不同的相关性信号，且结合不同的词项排序器在 QBE 检索中取得了统计上显著的提升。我们的工作揭示了不同于常见评估基准的检索设定所面临的挑战。
引用
@article{arxiv.2210.05512,
title = {On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval},
author = {Amin Abolghasemi and Arian Askari and Suzan Verberne},
journal= {arXiv preprint arXiv:2210.05512},
year = {2022}
}
备注
Proceedings of the 2022 ACM SIGIR International Conference on the Theory of Information Retrieval