最小化推荐系统中的实验：用于评估偏好 elicitation 策略的用户仿真
信息检索
2024-09-27 v1 机器学习
摘要
推荐系统中的策略评估通常涉及使用真实用户上的A/B测试来评估新策略对相关指标的影响。这种“金标准”以高昂成本为代价，包括周期时间、用户成本以及潜在的用户保留率。在开发用于“新用户导入”策略时，这些成本尤其棘手，因为导入只发生一次。本文描述了用于增减实验使用的仿真方法。我们说明了其在评估用于为YouTube Music平台新用户导入的“偏好elicitation”算法时的部署。通过开发具备反事实鲁棒性的用户行为模型，以及一种将此类模型与生产基础设施耦合的仿真服务，我们能够以可靠地预测其在关键指标上实际部署性能的方式测试新算法。我们描述了我们的领域、我们的仿真模型和平台、实验和部署结果，以及建议的未来步骤以进一步实现更真实的仿真作为实验的强大补充。
引用
@article{arxiv.2409.17436,
title = {Minimizing Live Experiments in Recommender Systems: User Simulation to Evaluate Preference Elicitation Policies},
author = {Chih-Wei Hsu and Martin Mladenov and Ofer Meshi and James Pine and Hubert Pham and Shane Li and Xujian Liang and Anton Polishko and Li Yang and Ben Scheetz and Craig Boutilier},
journal= {arXiv preprint arXiv:2409.17436},
year = {2024}
}