低遗憾求解随机最短路径：对抗性代价与未知转移情形

我们在具有对抗性代价和未知转移的随机最短路径问题上取得了显著进展。具体而言，我们开发的算法在全信息设定下达到 $\widetilde{O}(\sqrt{S^2ADT_\star K})$ 的遗憾(regret)，在 bandit 反馈设定下达到 $\widetilde{O}(\sqrt{S^3A^2DT_\star K})$ 的遗憾，其中 $D$ 为直径，$T_\star$ 为最优策略的期望命中时间，$S$ 为状态数，$A$ 为动作数，$K$ 为回合(episode)数。我们的工作在全信息设定下严格改进了 (Rosenberg and Mansour, 2020)，将 (Chen et al., 2020) 从已知转移推广到未知转移，并且也是首个考虑最具挑战性组合的工作：具有对抗性代价和未知转移的 bandit 反馈。为弥补我们的上界与当前通过随机遗忘对手构造的最佳下界之间的差距，我们还针对这一特殊情况提出了具有近最优遗憾的算法。