并非所有相关性分数都相等：深度检索模型的高效不确定性及校准建模
信息检索
2021-05-12 v1
摘要
在任何排序系统中，检索模型基于其对文档与给定查询相关程度的判断，为文档输出单一分数。尽管随着日益复杂架构的引入，检索模型不断得到改进，但很少有工作在研究检索模型对该分数本身的置信度时超越单一数值的范围。我们认为，捕获模型对文档打分的自身不确定性是检索的一个关键方面，它使得当前模型能够在新的文档分布、集合上得到更大程度的应用，甚至提升下游任务的效果。在本文中，我们通过一个高效的贝叶斯框架来解决该问题，该框架通过随机过程捕获模型对相关性分数的置信度，同时仅增加可忽略的计算开销。我们通过基于排序的校准度量来评估该置信度，表明我们的近似贝叶斯框架通过风险感知重排序显著提升了检索模型的排序效果及其置信度校准。最后，我们证明了这一额外的不确定性信息在通过截断预测表示的下游任务中是可行且可靠的。
引用
@article{arxiv.2105.04651,
title = {Not All Relevance Scores are Equal: Efficient Uncertainty and Calibration Modeling for Deep Retrieval Models},
author = {Daniel Cohen and Bhaskar Mitra and Oleg Lesota and Navid Rekabsaz and Carsten Eickhoff},
journal= {arXiv preprint arXiv:2105.04651},
year = {2021}
}
备注
ACM SIGIR preprint