不可靠多臂老虎机：推荐系统的一种新方法

我们使用多臂老虎机的一种新颖改进来创建推荐系统的新模型。我们将推荐系统建模为一个通过拉动奖励未知的臂来最大化奖励的老虎机。然而关键在于，该老虎机只能通过具有一定程度自主性的不可靠中间体来访问这些臂。例如，在流媒体网站中，用户在选择想观看的内容时有很大自主性。流媒体网站可使用定向广告作为偏置这些用户意见的手段。这里流媒体网站是旨在最大化奖励的老虎机，而用户是不可靠中间体。我们将中间体建模为通过马尔可夫链访问状态。允许老虎机扰动该马尔可夫链。我们证明了该设定下的基本定理，随后展示了一种接近最优的Explore-Commit算法。