用期望曝光评估随机排序
信息检索
2020-10-22 v2
摘要
我们引入\emph{期望曝光}的概念，即排序项在用户针对同一查询的重复采样中所获得的平均注意力。进而，我们倡导采用期望曝光均等原则：给定固定的信息需求，任何条目都不应比同相关等级的其他条目获得更多或更少的期望曝光。我们认为该原则对许多检索目标与场景（包括主题多样性与公平排序）都是可取的。利用现有检索度量中的用户模型，我们提出一种基于期望曝光的通用评估方法，并建立其与信息检索评估中相关度量的联系。重要的是，该方法放宽了经典信息检索假设，允许系统针对查询产生\emph{排序上的分布}而非单一固定排序。我们研究了期望曝光度量与随机排序器在各种信息获取条件（包括\emph{adhoc}检索与推荐）下的行为。我们相信，利用随机化来度量并优化期望曝光度量，为检索算法开发开辟了新的领域。
引用
@article{arxiv.2004.13157,
title = {Evaluating Stochastic Rankings with Expected Exposure},
author = {Fernando Diaz and Bhaskar Mitra and Michael D. Ekstrand and Asia J. Biega and Ben Carterette},
journal= {arXiv preprint arXiv:2004.13157},
year = {2020}
}
备注
In Proceedings of the 29th ACM International Conference on Information & Knowledge Management (CIKM '20). Association for Computing Machinery, New York, NY, USA