关于神经排序学习模型的校准与不确定性
信息检索
2021-01-13 v1 计算与语言
机器学习
摘要
根据概率排序原理 (PRP)，按相关概率降序排列文档可得到 ad-hoc 检索的最优文档排序。当满足两个条件时 PRP 成立：[C1] 模型校准良好，且 [C2] 相关概率以确定性报告。然而我们知道深度神经网络 (DNN) 通常校准不良且具有多种不确定性来源，因此神经排序器可能不满足 [C1] 和 [C2]。鉴于神经排序学习 (L2R) 方法——尤其是基于 BERT 的方法——的成功，我们首先分析确定性（即输出点估计）神经排序器在何种情形下得到校准。随后，受我们的发现启发，我们使用两种技术对神经排序器的不确定性建模，从而得到所提随机排序器，其输出相关性的预测分布而非点估计。我们在对话响应排序的 ad-hoc 检索任务上的实验结果表明：(i) 基于 BERT 的排序器未稳健校准，而随机基于 BERT 的排序器产生更好的校准；且 (ii) 不确定性估计既有利于风险感知神经排序（即在排序文档时考虑不确定性），也有利于预测不可回答的对话上下文。
引用
@article{arxiv.2101.04356,
title = {On the Calibration and Uncertainty of Neural Learning to Rank Models},
author = {Gustavo Penha and Claudia Hauff},
journal= {arXiv preprint arXiv:2101.04356},
year = {2021}
}
备注
Accepted for publication in the 16th conference of the European Chapter of the Association for Computational Linguistics (EACL'21)