具有图反馈的随机上下文赌博机：从独立数到最大无环子图数

我们考虑具有图反馈的上下文赌博机，这是一类比普通上下文赌博机具有更丰富结构的交互式学习问题，其中采取一个动作会揭示所有上下文中反馈图中所有相邻动作的奖励。与多臂赌博机设置（其中大量文献已对图反馈有了近乎完整的理解）不同，上下文赌博机对应方面仍有许多未探索之处。在本文中，我们通过建立遗憾下界 $\Omega(\sqrt{\beta_M(G) T})$ 来探索这一问题，其中 $M$ 是上下文数量，$G$ 是反馈图，$\beta_M(G)$ 是我们提出的图论量，它刻画了这类问题的基本学习极限。有趣的是，$\beta_M(G)$ 随着上下文数量 $M$ 的变化在 $\alpha(G)$（图的独立数）和 $\mathsf{m}(G)$（图的最大无环子图 (MAS) 数）之间插值。我们还提供了对于重要类别的上下文序列和/或反馈图（例如在拍卖和库存控制中有应用的传递闭包图）实现近乎最优遗憾的算法。特别地，在上下文数量较多的情况下，我们的结果表明，MAS 数本质上刻画了上下文赌博机的统计复杂性，而多臂赌博机中则是独立数。