面向现实的无偏学习排序：来自百度大规模搜索数据集的经验教训
信息检索
2024-05-16 v3 人工智能
摘要
无偏学习排序（ULTR）是从用户点击中学习的成熟框架，点击数据常因收集数据的排序器而产生偏差。虽然理论上有严谨依据且在仿真环境中得到广泛测试，但ULTR技术在实际应用中缺乏经验验证，尤其是在现代搜索引擎上。百度为WSDM Cup 2023公开的ULTR数据集，来自百度搜索引擎，提供了评估主流ULTR技术实际性能的稀有机会。尽管在WSDM Cup 2023期间提交了多个条目以及随后的NTCIR ULTRE-任务，但仍不清楚所见改进是来自ULTR技术应用还是其他学习技术。本文我们重新审视并扩展了在百度ULTR数据集上的可用实验。我们发现，标准的无偏学习排序技术在点击预测方面表现稳健，但在提升排序性能方面效果不佳，尤其是考虑到在不同排序损失和查询-文档特征选择下会得到显著差异。我们的实验表明，点击预测的提升并不一定转化为对专家相关性标注的排序性能提升，这表明结论在本基准中如何衡量成功具有强烈依赖性。
引用
@article{arxiv.2404.02543,
title = {Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset},
author = {Philipp Hager and Romain Deffayet and Jean-Michel Renders and Onno Zoeter and Maarten de Rijke},
journal= {arXiv preprint arXiv:2404.02543},
year = {2024}
}