基于强化利润最大化的值感知电商推荐

现有推荐算法大多聚焦于优化传统推荐指标，例如基于 RMSE 的评分预测准确度，或基于 precision、recall、MAP 等指标的 top-$k$ 推荐列表质量。然而，商业推荐系统的一个重要期望是提升系统的最终收入/利润。评分预测和 top-$k$ 推荐等传统推荐目标与此目标并无直接关联。在本工作中，我们将在线广告和微观经济学中的基本概念融入个性化推荐以实现利润最大化。具体而言，我们提出基于强化学习的值感知推荐，直接优化候选物品的经济价值以生成推荐列表。特别地，我们将计算广告中点击转化率（CVR）的基本概念推广为电商中任意用户动作转化率（XVR），其中用户动作可以是点击、加入购物车、加入心愿单等。由此，每类用户动作都被映射为其货币化的经济价值。不同用户动作的经济价值被进一步整合为排序列表的奖励，并利用强化学习优化推荐列表以最大化总价值。在离线基准和在线商业系统中的实验结果均验证了我们的框架在 traditional top-$k$ 排序任务和系统经济利益两方面的性能提升。