无需侵入式干预的位置偏差估计
信息检索
2018-12-14 v1
摘要
展示偏差是从搜索引擎的隐式反馈中学习时的主要挑战之一，因为它混淆了相关性信号。虽然最近研究表明，当观测倾向已知时，反事实学习排序（LTR）方法可以可证明地克服展示偏差，但仍需展示如何有效估计这些倾向。在本文中，我们提出了第一种无需人工相关性判断、破坏性干预或限制性相关性建模假设即可产生一致倾向估计的方法。首先，我们展示如何从多个不同排序函数的历史反馈日志中收集一类特定的干预数据，并表明该数据足以在基于位置的模型中进行一致的倾向估计。其次，我们提出了一种有效利用该数据的新极值估计量。在实证评估中，我们发现新估计量在两个真实系统中提供了更优的倾向估计——Arxiv 全文搜索和 Google Drive 搜索。除此之外，我们发现该方法在模拟研究中对于广泛的设置具有鲁棒性。
引用
@article{arxiv.1812.05161,
title = {Estimating Position Bias without Intrusive Interventions},
author = {Aman Agarwal and Ivan Zaitsev and Xuanhui Wang and Cheng Li and Marc Najork and Thorsten Joachims},
journal= {arXiv preprint arXiv:1812.05161},
year = {2018}
}