E Pluribus Unum:推荐系统多目标评估指南
信息检索
2023-04-24 v1
摘要
当今推荐系统的评估仍大多以准确率为准,而除推荐即时相关性之外的其他方面,如多样性、长期用户留存与公平性,常退居次要。此外,调和多种性能视角本质上是不确定的,这给追求推荐系统全面评估者构成了绊脚石。EvalRS 2022——一个围绕多目标评估设计的数据挑战赛——是首次实践尝试,为平衡评估中多目标的要求与挑战提供了诸多洞见。本文中,我们反思 EvalRS 2022 并阐述关键经验,以形成面向多目标模型选择的第一性原理方法,并概述开展多目标评估挑战赛的一组指南,其潜在适用于真实部署中竞争模型的全面评估问题。
引用
@article{arxiv.2304.10621,
title = {E Pluribus Unum: Guidelines on Multi-Objective Evaluation of Recommender Systems},
author = {Patrick John Chia and Giuseppe Attanasio and Jacopo Tagliabue and Federico Bianchi and Ciro Greco and Gabriel de Souza P. Moreira and Davide Eynard and Fahd Husain},
journal= {arXiv preprint arXiv:2304.10621},
year = {2023}
}
备注
15 pages, under submission