KuaiRec：一个全观测数据集及用于评估推荐系统的洞察
信息检索
2022-08-19 v3 人机交互
摘要
推荐系统的进展主要受制于评估，因为评估需要人与系统之间的实时交互，这过于费力且昂贵。该问题通常通过利用交互历史进行离线评估来解决。然而，现有的用户-物品交互数据集是部分观测的，使得缺失交互将如何影响评估以及影响程度并不清楚。为回答此问题，我们从快手在线环境中收集了一个全观测数据集，其中几乎所有 1,411 名用户都已被曝光给全部 3,327 个物品。据我们所知，这是首个具有数百万用户-物品交互的真实世界全观测数据。借助这一独特数据集，我们对数据密度和曝光偏差这两个因素如何影响多轮对话式推荐的评估结果进行了初步分析。我们的主要发现是，不同方法的性能排序随这两个因素而变化，并且这种影响仅能在某些情况下通过为用户模拟估计缺失交互来缓解。这证明了全观测数据集的必要性。我们在 https://kuairec.com 发布了该数据集及用于评估的流程实现。
引用
@article{arxiv.2202.10842,
title = {KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems},
author = {Chongming Gao and Shijun Li and Wenqiang Lei and Jiawei Chen and Biao Li and Peng Jiang and Xiangnan He and Jiaxin Mao and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2202.10842},
year = {2022}
}
备注
CIKM '22 Full Paper