基于弹性联邦与多智能体深度强化学习的下一代网络协作边缘缓存
机器学习
2024-06-06 v2 人工智能
摘要
边缘缓存是下一代网络的一种极具前景的解决方案，它通过在小基站（SBSs）中赋予缓存单元来实现，允许用户设备（UEs）获取已预缓存在 SBSs 中的用户请求内容。对于 SBSs 而言，在学习预测准确的热门内容的同时保护用户的个人信息至关重要。传统的联邦学习（FL）可以保护用户隐私，但 UEs 之间的数据差异会导致模型质量下降。因此，有必要为每个 UE 训练个性化的本地模型，以准确预测热门内容。此外，在下一代网络中，缓存的内容可以在相邻的 SBSs 之间共享，因此在不同 SBSs 中缓存预测的热门内容可能会影响获取内容的成本。因此，协作地确定热门内容的缓存位置至关重要。为了解决这些问题，我们提出了一种基于弹性联邦与多智能体深度强化学习的协作边缘缓存方案（CEFMR），以优化网络中的成本。我们首先提出了一种弹性 FL 算法来为每个 UE 训练个性化模型，其中采用对抗自编码器（AAE）模型进行训练以提高预测精度，然后提出了一种热门内容预测算法，基于训练好的 AAE 模型为每个 SBS 预测热门内容。最后，我们提出了一种基于多智能体深度强化学习（MADRL）的算法，以决定预测的热门内容在 SBSs 之间协作缓存的位置。我们的实验结果证明了我们提出的方案相对于现有基线缓存方案的优越性。
引用
@article{arxiv.2401.09886,
title = {Cooperative Edge Caching Based on Elastic Federated and Multi-Agent Deep Reinforcement Learning in Next-Generation Network},
author = {Qiong Wu and Wenhua Wang and Pingyi Fan and Qiang Fan and Huiling Zhu and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2401.09886},
year = {2024}
}
备注
This paper has been submitted to IEEE TNSM. The source code has been released at: https://github.com/qiongwu86/Edge-Caching-Based-on-Multi-Agent-Deep-Reinforcement-Learning-and-Federated-Learning