基于数字表亲的分部分布式多智能体 Q 学习无线网络
机器学习
2025-08-25 v3 信号处理
摘要
Q 学习是一种广泛用于无线网络优化的强化学习(RL)算法，但面临大状态空间的挑战。最近提出的多环境混合 Q 学习(MEMQ)算法通过在多个人工生成的、但结构上相关的环境中部署多个 Q 学习算法来解决这些挑战，称为数字表亲。在本文中，我们提出了一种新的多智能体 MEMQ(M-MEMQ)用于合作分部分布式无线网络，网络中包含多个联网发射机(TX)和基站(BS)。TX 不具备访问全局信息(联合状态和动作)的能力。引入了协调态和非协调态的新概念。在非协调态下，TX 独立行动以最小化其个人成本并更新局部 Q 函数。在协调态下，TX 使用贝叶斯方法估计联合状态并更新联合 Q 函数。信息共享的成本随 TX 数量呈线性增长, 且与联合状态-动作空间大小无关。给出了若干理论保证，包括确定性和概率收敛性、估计误差方差边界以及误检联合状态的概率。数值仿真表明，M-MEMQ 在多个分部分布式和集中式训练后集中执行(CTDE)多智能体 RL 算法中表现更佳，通过实现 60% 更低的平均策略误差(APE)、40% 更快的收敛速度、45% 更少的运行时复杂度以及 40% 更少的样本复杂度。此外，M-MEMQ 达到与集中方法相当的 APE，但复杂度显著降低。仿真结果验证了理论分析。
引用
@article{arxiv.2503.05970,
title = {Partially Decentralized Multi-Agent Q-Learning via Digital Cousins for Wireless Networks},
author = {Talha Bozkus and Urbashi Mitra},
journal= {arXiv preprint arXiv:2503.05970},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication