无评估指标的离线检索评价

信息检索与推荐的离线评价传统上侧重于将排序的质量提炼为平均精度或归一化折损累计增益等标量指标。我们可以利用该指标来比较多个系统对同一请求的性能。尽管评估指标提供了系统性能的便捷摘要，它们也将用户间的细微差异压缩为单一数值，并可能携带关于用户行为与效用的、在各类检索场景中并不成立的假设。我们提出召回配对偏好（RPP），一种基于直接对排序列表间偏好进行计算的、无指标的评估方法。RPP 为每个查询模拟多个用户子群体，并在这些伪群体间比较系统。我们在多个搜索与推荐任务上的结果表明，RPP 在显著提升区分力的同时，与现有指标相关性良好，且对不完整数据具有同等的鲁棒性。