未点击即不相关？倾向比打分作为一种校正方法
信息检索
2021-11-16 v2 机器学习
摘要
无偏学习排序（LTR）的最新进展依赖于逆倾向打分（IPS）来消除隐式反馈中的偏差。尽管 IPS 在纠正将点击文档视为相关所引入的偏差方面在理论上是可靠的，但它忽略了（隐式地）将未点击文档视为不相关所导致的偏差。在这项工作中，我们首先严格证明这种点击数据的使用会导致相关文档之间不必要的成对比较，从而阻碍无偏排序器优化。基于该证明，我们推导出一种简单但有充分依据的新加权方案，称为倾向比打分（PRS），它对点击和未点击均进行处理。除了纠正点击中的偏差外，PRS 避免了 LTR 训练中的相关-相关文档比较，并具有更低的方差。我们广泛的实证评估证实，PRS 确保了对点击数据更有效的利用，并在一组 LTR 基准的合成数据以及来自 GMail 搜索的真实大规模数据中均取得了改进的性能。
引用
@article{arxiv.2005.08480,
title = {Non-Clicks Mean Irrelevant? Propensity Ratio Scoring As a Correction},
author = {Nan Wang and Zhen Qin and Xuanhui Wang and Hongning Wang},
journal= {arXiv preprint arXiv:2005.08480},
year = {2021}
}