面向自适应对手的有向无环图中基于多臂老 bayesian Bandit Feedback 的在线最短路近最优算法

本文研究了在面向自适应对手的有向无环图（DAG）中的在线最短路问题。给定DAG $G = (V, E)$，其中源节点为 $v_{\mathsf{s}}$，汇节点为 $v_{\mathsf{t}}$，设 $X \subseteq \{0,1\}^{|E|}$ 为从 $v_{\mathsf{s}}$ 到 $v_{\mathsf{t}}$ 的所有路径集合。在每一轮 $t$，我们选择一条路径 $\mathbf{x}_t \in X$，并接收关于损失 $\langle \mathbf{x}_t, \mathbf{y}_t \rangle \in [-1,1]$ 的多臂老 bayesian Bandit Feedback，其中 $\mathbf{y}_t$ 为对手选择的损失向量。我们的目标是针对 $T$ 轮的最优路径实现低 regret。我们提出了首个在任意自适应对手下实现 $\tilde O(\sqrt{|E|T\log |X|})$ 的近最小混沌最优 regret 上界的高效算法，其中 $\tilde O(\cdot)$ 隐藏了边数 $|E|$ 的对数因子。我们的算法利用新颖的损失估计器和非平凡的方式下的质心基分解，以实现该 regret 上界。作为应用，我们表明针对DAG的算法为 $m$-sets、广义博弈、军官布洛托游戏、有向图中最短步、超立方体以及多任务多臂老 bayesian Bandit 提供了最先进的高效算法， 在所有这些设置下均实现了改进的高概率 regret 保证。