CTR 不足够：一种基于强化学习的优化会话点击排序方法
信息检索
2023-08-29 v1
摘要
排序是推荐系统中使用的关键模块。特别地，我们 YoungTao 推荐场景中所用的排序模块是向用户提供有序的物品列表，以最大化每位用户在整个推荐会话中的点击次数。然而，我们发现传统的用于优化点击率（CTR）的排序方法不能很好地解决我们的排序场景，因为它完全忽略了用户离开行为，且 CTR 是单步推荐的优化目标。为有效达成我们排序模块的目的，我们提出一个长期优化目标，称为 CTE（点击数量期望），以显式地考虑用户离开行为。基于 CTE，我们提出了一种由强化学习训练的有效模型。此外，我们从离线日志数据构建了一个仿真环境用于估计 PBR 和 CTR。我们在离线数据集和淘宝的在线电商场景上进行了广泛实验。实验结果表明我们的方法能有效提升性能。
引用
@article{arxiv.2308.14056,
title = {CTR is not Enough: a Novel Reinforcement Learning based Ranking Approach for Optimizing Session Clicks},
author = {Shaowei Liu and Yangjun Liu},
journal= {arXiv preprint arXiv:2308.14056},
year = {2023}
}