基于多目标抽象的深度分层强化学习推荐方法
机器学习
2019-03-25 v1 人工智能
信息检索
摘要
推荐系统是一种重要的智能应用形式，可帮助用户缓解信息冗余问题。在评估推荐系统的各项指标中，转化指标已变得愈发重要。由于转化反馈信号极度稀疏，现有多数推荐系统在该指标上表现不佳。为应对这一挑战，我们提出了一种基于深度分层强化学习的推荐框架，其由两个组件构成，即高层智能体（high-level agent）和低层智能体（low-level agent）。高层智能体捕捉长期稀疏的转化信号，并为低层智能体自动设定抽象目标，而低层智能体遵循抽象目标并与实时环境交互。为解决分层强化学习中的固有问题，我们提出了一种通过多目标抽象实现的新型深度分层强化学习算法（HRL-MG）。我们所提算法具有三个特点：1）高层智能体生成多个目标以在不同阶段引导低层智能体，降低了逼近高层目标的难度；2）不同目标共享相同的状态编码器参数，提高了高层智能体的更新频率，从而加速了我们算法的收敛；3）设计了合理的收益分配函数，以在每个目标内分配奖励，从而协调不同目标朝一致方向优化。我们基于真实电商数据集对所提算法进行了评估，验证了其有效性。
引用
@article{arxiv.1903.09374,
title = {Deep Hierarchical Reinforcement Learning Based Recommendations via Multi-goals Abstraction},
author = {Dongyang Zhao and Liang Zhang and Bo Zhang and Lizhou Zheng and Yongjun Bao and Weipeng Yan},
journal= {arXiv preprint arXiv:1903.09374},
year = {2019}
}
备注
submitted to SIGKDD 2019