非随机老虎机中的延迟与合作

我们研究通信学习智能体网络，它们合作解决一个共同的非随机老虎机问题。智能体使用底层通信网络获取关于其他智能体所选动作的消息，并丢弃那些经过超过 $d$ 跳到达的消息，其中 $d$ 为延迟参数。我们引入 \textsc{Exp3-Coop}，即 {\sc Exp3} 算法的合作版本，并证明对于 $K$ 个动作和 $N$ 个智能体，经过 $T$ 轮后每智能体平均后悔至多阶为 $\sqrt{\bigl(d+1 + \tfrac{K}{N}\alpha_{\le d}\bigr)(T\ln K)}$，其中 $\alpha_{\le d}$ 是连通通信图 $G$ 的 $d$ 次幂的独立数。我们随后展示，对于任意连通图，当 $d=\sqrt{K}$ 时后悔界为 $K^{1/4}\sqrt{T}$，严格优于非合作智能体的极小极大后悔 $\sqrt{KT}$。对 $d$ 更明智的选择导致当 $G$ 稠密时界可任意接近全信息极小极大后悔 $\sqrt{T\ln K}$。当 $G$ 具有稀疏分量时，我们展示 \textsc{Exp3-Coop} 的一个变体，允许智能体根据其于 $G$ 中的中心性选择参数，严格改善了后悔。最后，作为我们分析的一个副产品，我们给出了带延迟老虎机学习的极小极大后悔的首次刻画。