估计排序目标的Hessian矩阵以实现基于梯度提升树的随机学习排序
机器学习
2024-05-10 v2 信息检索
摘要
随机学习排序(LTR)是LTR领域的一个新分支，涉及概率排序模型的优化。它们的概率行为使得某些排序质量成为可能，而这些质量是确定性模型无法实现的。例如，它们可以增加显示文档的多样性，增加文档曝光的公平性，并通过随机化更好地平衡利用和探索。LTR的一个核心困难是梯度估计，因此现有的随机LTR方法仅限于可微排序模型(例如神经网络)。这与LTR的一般领域形成鲜明对比，在LTR中，梯度提升决策树(GBDT)长期以来一直被认为是当前最先进的技术。在这项工作中，我们通过引入第一个用于GBDT的随机LTR方法来解决这一差距。我们的主要贡献是一种新颖的二阶导数(即Hessian矩阵)估计器，这是有效GBDT的要求。为了同时高效计算一阶和二阶导数，我们将我们的估计器集成到现有的PL-Rank框架中，该框架最初仅设计用于一阶导数。我们的实验结果表明，没有Hessian的随机LTR性能极差，而使用我们估计的Hessian，性能与当前最先进技术相当。因此，通过我们新颖的Hessian估计方法的贡献，我们成功地将GBDT引入了随机LTR。
引用
@article{arxiv.2404.12190,
title = {Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees},
author = {Jingwei Kang and Maarten de Rijke and Harrie Oosterhuis},
journal= {arXiv preprint arXiv:2404.12190},
year = {2024}
}
备注
SIGIR2024 conference Short paper track