贝叶斯信息过滤中冷启动问题的马尔可夫决策过程分析
机器学习
2014-10-31 v1 信息检索
最优化与控制
摘要
我们考虑信息过滤问题，其中面临一系列项目流，必须决定将哪些项目转发给用户，以最大化展示的相关项目数量，同时减去每个展示的不相关项目的惩罚。转发决策是针对每个用户以个性化方式单独做出的。我们关注该问题的冷启动场景，即关于用户偏好的历史数据有限，必须依靠转发文章的反馈来学习各类别项目中与用户相关项目的比例。在此场景下表现良好需要在探索与利用之间进行权衡，即转发可能不相关的项目，以便进行学习从而改善后续性能。在贝叶斯设定下，并利用马尔可夫决策过程，我们展示了当用户检查每篇转发文章时，如何高效计算贝叶斯最优转发算法；以及当用户仅检查有限数量的转发项目时，如何获得贝叶斯最优过程的上界和启发式索引策略。我们展示了使用从 arXiv.org 历史数据估计的参数进行的仿真实验结果。
引用
@article{arxiv.1410.7852,
title = {A Markov Decision Process Analysis of the Cold Start Problem in Bayesian Information Filtering},
author = {Xiaoting Zhao and Peter I. Frazier},
journal= {arXiv preprint arXiv:1410.7852},
year = {2014}
}
备注
12 pages, 9 figures