生成器与评判器：一种用于电商 slate 重排序的深度强化学习方法
机器学习
2020-05-26 v1 信息检索
机器学习
摘要
与点式排序相比，slate 重排序问题考虑物品间的相互影响以提升电商中的用户满意度。先前的工作要么通过端到端模型直接排序物品，要么通过权衡点式分数与物品间多样性的打分函数排序物品。然而，现有两大挑战未被充分研究：（1）由于一个 slate 中物品间复杂的相互影响，slate 的评估很困难；（2）即便给定最优评估，由于动作空间呈指数级庞大，搜索最优 slate 也具挑战性。本文提出一种新颖的生成器与评判器（Generator and Critic）slate 重排序方法，其中评判器评估 slate，生成器通过强化学习方法来排序物品。我们提出一种全 slate 评判器（Full Slate Critic, FSC）模型，其考虑真实曝光物品并避免了现有模型的曝光偏差。对于生成器，为应对大动作空间问题，我们提出一种称为 PPO-Exploration 的新探索强化学习算法。实验结果表明，FSC 模型显著优于最先进的 slate 评估方法，且 PPO-Exploration 算法大幅优于现有强化学习方法。生成器与评判器方法在全世界最大电商网站之一的线上实验中同时提升了 slate 效率（GMV 提升 4%、订单数提升 5%）与多样性。
引用
@article{arxiv.2005.12206,
title = {Generator and Critic: A Deep Reinforcement Learning Approach for Slate Re-ranking in E-commerce},
author = {Jianxiong Wei and Anxiang Zeng and Yueqiu Wu and Peng Guo and Qingsong Hua and Qingpeng Cai},
journal= {arXiv preprint arXiv:2005.12206},
year = {2020}
}