利用随机化数据进行排序函数的离线比较
信息检索
2018-10-15 v1
摘要
排序函数返回物品的排序列表，用户常与之交互。如何利用历史交互日志评估排序函数（亦称离策略评估）是一个重要但具挑战性的问题。常用的逆倾向得分(IPS)方法在单物品情形下表现较好，但在排序列表情形下数据效率极低。本文研究如何在离线比较设定下提升 IPS 方法的数据效率。我们提出两种方法 Trunc-match 与 Rand-interleaving，利用均匀随机化数据进行离线比较。我们基于其中一个最大的邮件搜索引擎表明，这些方法可提升数据效率及比较灵敏度。
引用
@article{arxiv.1810.05252,
title = {Offline Comparison of Ranking Functions using Randomized Data},
author = {Aman Agarwal and Xuanhui Wang and Cheng Li and Michael Bendersky and Marc Najork},
journal= {arXiv preprint arXiv:1810.05252},
year = {2018}
}
备注
Published at REVEAL Workshop in ACM Recommender Systems (RecSys) (2018)