先解释后排序：利用LLM的自然语言解释对神经排序器进行尺度校准
信息检索
2024-08-28 v2
摘要
在搜索场景中，将排序过程中的分数校准到点击率或相关性水平等量值，可以增强系统对下游用户的实用性和可信度。虽然先前的研究已经改进了低复杂度学习排序模型的这种校准概念，但现代神经文本排序器特有的更大数据需求和参数数量产生了独特的障碍，阻碍了旨在用于学习排序设置的方法的有效性。本文提出利用大语言模型(LLM)为这些神经文本排序器提供相关性和不确定性信号，通过对自然语言解释(NLE)进行蒙特卡洛采样来产生尺度校准的分数。我们的方法将神经排序任务从排序文本查询-文档对转变为排序相应的合成NLE。在两个流行的文档排序数据集上的综合实验表明，基于NLE的校准方法在排序、校准和查询性能预测任务上始终优于过去的校准方法和基于LLM的方法。
引用
@article{arxiv.2402.12276,
title = {Explain then Rank: Scale Calibration of Neural Rankers Using Natural Language Explanations from LLMs},
author = {Puxuan Yu and Daniel Cohen and Hemank Lamba and Joel Tetreault and Alex Jaimes},
journal= {arXiv preprint arXiv:2402.12276},
year = {2024}
}