面向异构边缘内容缓存网络的个性化联邦深度强化学习

主动缓存对于降低多服务器边缘网络中的延迟和提升体验质量至关重要。联邦深度强化学习是为动态内容请求量身定制缓存策略的一种极具前景的方法。然而，FDRL 面临诸多挑战，例如由于内容数量增加导致的缓存动作空间膨胀，以及难以将全局信息适应于异构边缘环境。在本文中，我们提出了一种用于缓存的个性化联邦深度强化学习框架，称为 PF-DRL-Ca，旨在满足缓存能力约束的同时最大化系统效用。为了应对不断膨胀的动作空间，我们采用了一种新的 DRL 算法——多头深度 Q 网络，该算法将 DQN 的动作输出层重塑为多头结构，其中每个头生成一个子维度的动作。接着，我们将所提出的 MH-DQN 集成到个性化联邦训练框架中，采用逐层训练方法以导出个性化模型，该模型能够适应异构环境，同时利用全局信息加速学习收敛。我们大量的实验结果证明了 MH-DQN 在单服务器上优于传统 DRL 算法，以及个性化联邦训练架构相较于其他框架的优势。