加权计数赌博机：通过重复暴露最优性克服难解性

在在线学习的推荐系统或众包应用中，人类的偏好或能力常常是算法近期动作的函数。受此启发，已有大量工作形式化了如下场景：一个动作的损失是其在前 $m$ 个时间步内被播放次数的函数，其中 $m$ 对应人类记忆容量的上界。为更真实地刻画人类记忆随时间的衰减，我们引入了加权计数赌博机（Weighted Tallying Bandit, WTB），它通过要求一个动作的损失是其在最近 $m$ 个时间步内被播放次数的\emph{加权}求和的函数，推广了上述设定。该 WTB 设定在无进一步假设下是难解的。因此我们基于重复暴露最优性（Repeated Exposure Optimality, REO）研究它，该条件受人类生理学文献启发，要求存在一个动作，当其被重复播放时最终将产生比其他任何动作序列更小的损失。我们研究在 REO 下 WTB 中的完全策略后悔（complete policy regret, CPR）最小化，这是最强的后悔概念。由于 $m$ 通常未知，我们假设仅能获取 $m$ 的上界 $M$。我们证明对于具有 $K$ 个动作和时域 $T$ 的问题，连续消除算法的一个简单修改具有 $O \left( \sqrt{KT} + (m+M)K \right)$ 的 CPR。有趣的是，在 $(m+M)K$ 的可加（而非可乘）因子范围内，这恢复了针对具有传统后悔的更简单随机多臂赌博机的经典保证。我们进一步表明，在我们的设定中，任何算法都将承受 $\Omega \left( mK + M \right)$ 的可加 CPR，表明我们的结果近乎最优。我们的算法计算高效，并通过实验证明了其实用性及对自然基线的优越性。