样本与通信高效的去中心化 Actor-Critic 算法及其有限时间分析

Actor-critic (AC) 算法已被广泛用于去中心化多智能体系统，以学习最优联合控制策略。然而，现有的去中心化 AC 算法要么不能保护智能体的隐私，要么样本和通信效率不高。在本工作中，我们开发了两种私密且样本与通信高效的去中心化 AC 和自然 AC (NAC) 算法。在这两种算法中，智能体共享带噪信息以保护隐私，并采用小批量更新以提高样本和通信效率。特别是对于去中心化 NAC，我们开发了一种具有自适应小批量大小的去中心化马尔可夫 SGD 算法，以高效计算自然策略梯度。在马尔可夫采样和线性函数逼近下，我们证明了所提出的去中心化 AC 和 NAC 算法分别达到了最先进的样本复杂度 $\mathcal{O}\big(\epsilon^{-2}\ln(\epsilon^{-1})\big)$ 和 $\mathcal{O}\big(\epsilon^{-3}\ln(\epsilon^{-1})\big)$，以及同样小的通信复杂度 $\mathcal{O}\big(\epsilon^{-1}\ln(\epsilon^{-1})\big)$。数值实验表明，与现有的去中心化 AC 算法相比，所提出的算法实现了更低的样本和通信复杂度。