在十亿规模短视频推荐系统中强化用户留存
机器学习
2023-02-14 v3 信息检索
摘要
近年来，短视频平台通过向用户推荐有趣内容实现了用户的快速增长。推荐的目标是优化用户留存，从而驱动 DAU（日活跃用户）的增长。留存是用户与系统多次交互后的长期反馈，难以将留存收益分解到单个或一组物品上。因此传统的 pointwise 与 listwise 模型无法优化留存。本文选用强化学习方法来优化留存，因其专为最大化长期性能而设计。我们将该问题建模为无限时域基于请求的马尔可夫决策过程，目标是最小化多次会话的累计时间间隔，这等同于提升 app 打开频率与用户留存。然而，由于用户留存的属性所带来的不确定性、偏差与长延迟，现有强化学习算法无法直接应用于此设定。我们提出一种称为 RLUR 的新方法来应对上述挑战。离线与线上实验均表明 RLUR 能显著提升用户留存。RLUR 已在快手 app 中长期全量上线，并在用户留存与 DAU 上取得持续的性能提升。
引用
@article{arxiv.2302.01724,
title = {Reinforcing User Retention in a Billion Scale Short Video Recommender System},
author = {Qingpeng Cai and Shuchang Liu and Xueliang Wang and Tianyou Zuo and Wentao Xie and Bin Yang and Dong Zheng and Peng Jiang and Kun Gai},
journal= {arXiv preprint arXiv:2302.01724},
year = {2023}
}