超越NDCG：基于行为测试的推荐系统RecList方法
信息检索
2022-03-29 v2 人工智能
机器学习
摘要
与多数机器学习系统一样，推荐系统通常通过在与训练数据隔离的保留数据点集上计算的性能指标来评估。然而，真实世界行为无疑更为微妙：必须采用特定的错误分析与部署相关的测试，以确保在实际部署中达到期望的质量。本文提出RecList，一种基于行为的测试方法。RecList按用例组织推荐系统，并引入通用的即插即用流程以扩展行为测试。我们通过分析已知算法与黑盒商业系统展示其能力，并将RecList作为开源、可扩展的软件包发布给社区。
引用
@article{arxiv.2111.09963,
title = {Beyond NDCG: behavioral testing of recommender systems with RecList},
author = {Patrick John Chia and Jacopo Tagliabue and Federico Bianchi and Chloe He and Brian Ko},
journal= {arXiv preprint arXiv:2111.09963},
year = {2022}
}
备注
Paper accepted to the WebConf 2022