基于模型的去偏学习排序
信息检索
2023-02-09 v3
摘要
去偏学习排序(ULTR)利用有偏用户反馈数据学习文档排序,是信息检索中众所周知的挑战。现有去偏学习排序方法通常依赖点击建模或逆倾向加权(IPW)。遗憾的是,搜索引擎面临严重的长尾查询分布,无论是点击建模还是IPW都难以妥善处理。点击建模受数据稀疏问题困扰,因为相同查询-文档对在尾部查询上出现次数有限;IPW受高方差问题困扰,因其对小的倾向得分值高度敏感。因此,亟需一种在尾部查询下表现良好的通用去偏框架。为解决此问题,我们提出一种基于模型的去偏学习排序框架。具体而言,我们开发了一个通用上下文感知用户模拟器,为未观测排序列表生成伪点击以训练排序器,从而解决数据稀疏问题。此外,考虑到伪点击与实际点击之间的差异,我们将排序列表的观测作为处理变量,并以双重稳健方式进一步将逆倾向加权与伪标签结合。推导出的偏差与方差表明,所提基于模型的方法比现有方法更稳健。最后,在包括模拟数据集与真实点击日志在内的基准数据集上的大量实验表明,所提基于模型的方法在各种场景下始终优于最先进方法。代码见https://github.com/rowedenny/MULTR。
引用
@article{arxiv.2207.11785,
title = {Model-based Unbiased Learning to Rank},
author = {Dan Luo and Lixin Zou and Qingyao Ai and Zhiyu Chen and Dawei Yin and Brian D. Davison},
journal= {arXiv preprint arXiv:2207.11785},
year = {2023}
}
备注
accepted in WSDM '23; extended version