在线非静息多臂老虎机中的曝光公平性

非静息多臂老虎机（RMABs）推广了多臂老虎机，其中每个臂表现出马尔可夫行为并根据其转移动力学进行状态转移。RMAB 的解在离线和在线情况下均存在。然而，它们未考虑各臂之间拉动的分配。研究表明，最优策略会导致不公平，即某些臂未被充分曝光。RMAB 公平性方面的现有工作主要集中在离线情况，这削弱了它们在环境很大程度上未知的真实世界场景中的应用。在在线场景中，我们提出了首个公平 RMAB 框架，其中每个臂按其自身价值成比例地获得拉动。我们将臂的价值定义为其稳态奖励分布的函数。我们证明在单拉动情况下，我们的算法实现了 $O(\sqrt{T\ln T})$ 的次线性公平性遗憾，其中 $T$ 为总回合数。在经验上，我们表明我们的算法在多拉动场景中同样表现良好。