基于图结构的随机上下文多臂老虎机

我们将在线图预测问题自然推广到一类随机上下文多臂老虎机问题，其中上下文为图中的顶点，且图的结构提供了关于上下文相似性的信息。更具体地，给定图 $G=(V,E)$，其顶点集 $V$ 表示具有{\em 未知}顶点标签 $y$ 的上下文。在我们的随机上下文老虎机设定中，具有相同标签的顶点共享相同的奖励分布。图标签预测中实例难度的标准度量为割大小 $f$，定义为端点标签不同的边的数量。对于线图和树，我们提出一种遗憾界为 $\tilde{O}(T^{2/3}K^{1/3}f^{1/3})$ 的算法，其中 $K$ 为臂数。我们的算法依赖于 Zimmert 和 Seldin~[AISTAT'19, JMLR'21] 的最优随机老虎机算法。当最优臂优于其他臂时，遗憾改进为 $\tilde{O}(\sqrt{KT\cdot f})$。后一种情形的遗憾界与更一般情形下其他最优上下文老虎机结果相当，但我们的算法易于分析、运行高效，且不需要输入上下文序列的独立同分布假设。该算法也可通过标准随机生成树归约用于一般图。