雾无线接入网中用于协作边缘缓存的带量化联邦强化学习方法
信号处理
2022-06-24 v1
摘要
本文研究了雾无线接入网（F-RANs）中的协作边缘缓存问题。鉴于该问题的非确定性多项式困难（NP-hard）性质，提出了一种基于对决深度 Q 网络（Dueling DQN）的缓存更新算法，通过学习动态网络环境做出最优缓存决策。为保护用户数据隐私并解决单一深度强化学习（DRL）模型训练收敛慢的问题，我们提出一种带量化的联邦强化学习方法（FRLQ），以对 F-RANs 中多个雾接入点（F-APs）的模型进行协作训练。为解决模型传输导致的通信资源过度消耗，我们对共享 DRL 模型进行剪枝与量化，以减少模型传输参数数量。通过周期性模型全局聚合增大通信间隔并减少通信轮次。我们分析了所提策略的全局收敛性与计算复杂度。仿真结果验证了相比基准方案，我们的策略在降低用户请求时延与提高缓存命中率方面具有更优性能。所提策略还被证明以极小模型精度损失实现了更快训练速度与更高通信效率。
引用
@article{arxiv.2206.11556,
title = {A Federated Reinforcement Learning Method with Quantization for Cooperative Edge Caching in Fog Radio Access Networks},
author = {Yanxiang Jiang and Min Zhang and Fu-Chun Zheng and Yan Chen and Mehdi Bennis and Xiaohu You},
journal= {arXiv preprint arXiv:2206.11556},
year = {2022}
}
备注
14 pages,12 figures