两全其美：通过多目标强化学习实现多样且新颖的推荐
机器学习
2021-10-29 v1 信息检索
摘要
自推荐系统（RS）诞生以来，推荐在相关性方面的准确性一直是评估 RS 算法质量的黄金准则。然而，通过聚焦于物品相关性，人们在其他重要指标上付出了显著代价：用户陷入“过滤气泡”且其可选范围被大幅缩减，从而降低了用户体验质量并导致流失。推荐，尤其是基于会话/序列的推荐，是一项具有多个——且常常相互冲突的——目标的复杂任务，现有最先进的方法未能解决该问题。在这项工作中，我们应对上述挑战并引入面向 RS 场景的标量化多目标强化学习（SMORL），这是一种能够有效处理多目标推荐任务的新型强化学习（RL）框架。所提出的 SMORL 智能体用额外的 RL 层增强标准推荐模型，以强制其同时满足三个主要目标：推荐的准确性、多样性和新颖性。我们将该框架与四个最先进的基于会话的推荐模型集成，并将其与仅关注准确性的单目标 RL 智能体进行比较。我们在两个真实世界数据集上的实验结果显示出聚合多样性的大幅提升、准确性的适度提高、推荐重复性的降低，并证明了强化多样性和新颖性作为互补目标的重要性。
引用
@article{arxiv.2110.15097,
title = {Choosing the Best of Both Worlds: Diverse and Novel Recommendations through Multi-Objective Reinforcement Learning},
author = {Dusan Stamenkovic and Alexandros Karatzoglou and Ioannis Arapakis and Xin Xin and Kleomenis Katevas},
journal= {arXiv preprint arXiv:2110.15097},
year = {2021}
}
备注
9 pages, 4 figures, Proc. ACM WSDM, 2022 In Proceedings of the 15th ACM International Conference on Web Search and Data Mining (WSDM '22), February 21-25, 2022, Phoenix, Arizona