将反事实方法推向在线:高效且无偏的排序在线评估
信息检索
2020-07-29 v2 机器学习
摘要
反事实评估可以基于历史交互数据估计排序系统之间的点击率(CTR)差异,同时减轻位置偏差和项目选择偏差的影响。我们引入了新颖的日志策略优化算法(LogOpt),该算法优化记录数据的策略,以使反事实估计具有最小方差。由于最小化方差能带来更快的收敛速度,LogOpt提高了反事实估计的数据效率。LogOpt将原本对日志策略无差别的反事实方法转变为一种在线方法,由算法决定显示哪些排序。我们证明,作为一种在线评估方法,LogOpt对于位置偏差和项目选择偏差是无偏的,这与现有的交织方法不同。此外,我们通过模拟数千个排序器之间的比较进行了大规模实验。我们的结果表明,虽然交织方法会产生系统性误差,但LogOpt与交织方法同样高效且没有偏差。
引用
@article{arxiv.2007.12719,
title = {Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking},
author = {Harrie Oosterhuis and Maarten de Rijke},
journal= {arXiv preprint arXiv:2007.12719},
year = {2020}
}
备注
ICTIR 2020