带切换成本的多令牌马尔可夫博弈

我们研究一类带度量切换成本的通用马尔可夫博弈：在每一轮中，玩家自适应地选择若干马尔可夫链之一推进，目标是最小化使至少 $k$ 条链到达其目标状态的期望成本。若玩家决定切换至另一条链，则产生额外的切换成本。无切换成本的特殊情形已由 Dumitriu、Tetali 和 Winkler~\cite{DTW03} 借助经典多臂老虎机（MAB）问题（具有马尔可夫奖励 \cite{Git74,Git79}）的著名 Gittins 指数变体最优解决。然而，对于具有非平凡切换成本的马尔可夫多臂老虎机，即便切换成本为常数，Banks 和 Sundaram \cite{BS94} 的经典论文也已表明任何指数策略均无法达到最优。在本文中，我们补充其结果，并证明若存在常数切换成本且 $k=1$，则存在一种简单指数策略可达到常数近似因子。据我们所知，该指数策略是首个对带切换成本的通用马尔可夫 MAB 变体达到常数近似因子的策略。对于通用度量，我们通过对随机 $k$-TSP 问题的非平凡归约，提出了一种更复杂的常数因子近似算法，其中马尔可夫链由随机变量近似。我们的分析广泛利用了 Gittins 指数的各种有趣性质。