面向分布式资源分配的元联邦强化学习

在蜂窝网络中，资源分配通常以集中式方式进行，这给基站（BS）带来了巨大的计算复杂度以及较高的传输开销。本文探索一种分布式资源分配方法，旨在最大化能量效率（EE）的同时保障用户的服务质量（QoS）。具体而言，为应对无线信道条件，我们提出了一种鲁棒的元联邦强化学习（meta federated reinforcement learning, MFRL）框架，该框架允许本地用户利用本地训练的神经网络模型优化发射功率并分配信道，从而将计算负担从云服务器卸载到本地用户，减少与本地信道状态信息相关的传输开销。基站执行元学习过程以初始化一个通用的全局模型，使其能够快速适应不同环境并获得改善的EE性能。基于分散式强化学习的联邦学习技术促进了用户间的协作与互利。分析与数值结果表明，所提出的MFRL框架加速了强化学习过程，降低了传输开销，并实现了计算卸载，同时在收敛速度和各类场景下的EE性能方面优于传统的分散式强化学习算法。