面向自动无偏学习排序的多变量打分函数分析
信息检索
2020-08-21 v1 机器学习
摘要
利用有偏点击数据优化学习排序系统一直是信息检索中的流行方法。由于点击数据通常含有噪声且具有偏倚，人们提出了多种方法来构建无偏学习排序（ULTR）算法以学习无偏排序模型。其中，自动无偏学习排序（AutoULTR）算法因其在实践中优越的性能和较低的部署成本，通过联合学习用户偏倚模型（即倾向性模型）与无偏排序器而备受关注。尽管现有 ULTR 研究在理论和算法设计上有所不同，但通常使用单变量排序函数独立地对每个文档或结果打分。另一方面，上下文感知学习排序模型的最新进展表明，在多文档联合读取并联合预测排序分数的多变量打分函数，在具有人工标注相关性标签的排序任务中比单变量排序函数更强大。然而，这种优越性能在带有噪声数据的 ULTR 中是否依然成立，在很大程度上未知。本文从理论层面研究现有的多变量打分函数与 AutoULTR 算法，并证明置换不变性是决定上下文感知学习排序模型能否应用于现有 AutoULTR 框架的关键因素。我们在两个大规模基准数据集上利用合成点击进行的实验表明，具有置换不变多变量打分函数的 AutoULTR 模型显著优于具有单变量打分函数和置换变多多变量打分函数的模型。
引用
@article{arxiv.2008.09061,
title = {Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank},
author = {Tao Yang and Shikai Fang and Shibo Li and Yulan Wang and Qingyao Ai},
journal= {arXiv preprint arXiv:2008.09061},
year = {2020}
}
备注
4 pages, 2 figures. It has already been accepted and will show in Proceedings of the 29th ACM International Conference on Information and Knowledge Management (CIKM '20), October 19--23, 2020