具有对抗成本和已知转移的随机最短路径的极小化极大遗憾

我们研究了具有对抗成本和已知转移的随机最短路径问题，并证明了在完整信息设置和 bandit 反馈设置下，极小化极大遗憾分别为 $\widetilde{O}(\sqrt{DT^\star K})$ 和 $\widetilde{O}(\sqrt{DT^\star SA K})$，其中 $D$ 是直径，$T^\star$ 是最优策略的期望命中时间，$S$ 是状态数，$A$ 是动作数，$K$ 是回合数。我们的结果显著改进了 (Rosenberg and Mansour, 2020) 的工作，该工作仅考虑完整信息设置且取得的遗憾是次优的。我们的工作也是首个考虑具有对抗成本的 bandit 反馈的研究。我们的算法建立在 Online Mirror Descent 框架之上，结合了多种可能具有独立意义的新技术，包括改进的多尺度专家算法、从一般随机最短路径到特殊无环情况的归约、偏斜占用度量空间，以及添加到成本估计器中的新颖校正项。有趣的是，后两个元素分别通过正偏差降低了学习者的方差，并通过负偏差降低了最优策略的方差，同时具备这两者对于在 bandit 反馈设置中获得最优高概率界至关重要。