面向带业务规则学习排序的无偏离线评估
信息检索
2023-11-06 v1
摘要
对于工业级学习排序(LTR)系统，排序模型的输出常被修改，这或是由于强制执行业务需求的后处理逻辑，或是由于现实生产系统中存在的未预见设计缺陷或错误。这给部署离策略学习与评估方法带来挑战，因为它们常依赖于模型分数隐含的排序与向用户展示的项目一致的假设。可靠离线评估的进一步要求包括适当的随机化，以及正确估计在排序任意给定位置展示各项目的倾向性，这些也受上述后处理影响。我们实证研究了这些场景如何损害 LTR 模型的离策略评估。然后我们提出一种基于 Birkhoff-von-Neumann 分解的新校正方法，对这类后处理具有鲁棒性。我们在离线实验中获得了更准确的离策略估计，克服了后处理排序的问题。据我们所知，这是关于现实业务规则对 LTR 模型离线评估影响的首项研究。
引用
@article{arxiv.2311.01828,
title = {Unbiased Offline Evaluation for Learning to Rank with Business Rules},
author = {Matej Jakimov and Alexander Buchholz and Yannik Stein and Thorsten Joachims},
journal= {arXiv preprint arXiv:2311.01828},
year = {2023}
}