协作多智能体强化学习：异步通信与线性函数逼近

我们研究情节式马尔可夫决策过程设定下的多智能体强化学习，其中多个智能体通过中央服务器通信进行协作。我们提出一种基于值迭代且可证高效的算法，其支持异步通信，同时以低通信开销确保协作优势。在线性函数逼近下，我们证明算法享有 $\tilde{\mathcal{O}}(d^{3/2}H^2\sqrt{K})$ 后悔界与 $\tilde{\mathcal{O}}(dHM^2)$ 通信复杂度，其中 $d$ 为特征维度，$H$ 为 horizon 长度，$M$ 为智能体总数，$K$ 为情节总数。我们还提供下界，表明通过协作提升性能所需的最小通信复杂度为 $\Omega(dM)$。