探索的长期价值：度量、发现与算法
信息检索
2024-02-27 v2
摘要
有效的探索被认为对推荐平台上的长期用户体验有积极影响。然而，确定其确切收益一直具有挑战性。关于探索的常规 A/B 测试常常测得中性甚至负面的参与度指标，却未能捕捉其长期收益。本文引入新的实验设计，通过考察探索对内容库的影响，并将内容库增长与现实实验中长期用户体验相联系，来正式量化探索的长期价值。在确立探索的价值后，我们将 Neural Linear Bandit 算法作为一种通用框架进行研究，以将探索引入任何基于深度学习的排序系统。我们在服务于数十亿用户的最大短视频推荐平台之一上进行了线上实验，以验证新实验设计、量化探索的长期价值，并验证所采用的 neural linear bandit 探索算法的有效性。
引用
@article{arxiv.2305.07764,
title = {Long-Term Value of Exploration: Measurements, Findings and Algorithms},
author = {Yi Su and Xiangyu Wang and Elaine Ya Le and Liang Liu and Yuening Li and Haokai Lu and Benjamin Lipshitz and Sriraj Badam and Lukasz Heldt and Shuchao Bi and Ed Chi and Cristos Goodrow and Su-Lin Wu and Lexi Baugher and Minmin Chen},
journal= {arXiv preprint arXiv:2305.07764},
year = {2024}
}
备注
11 pages, WSDM 2024