基于深度强化学习的无线边缘缓存动态内容更新
信息论
2019-10-22 v1 math.IT
摘要
本文研究了一个基本的无线缓存网络,其中一个源服务器连接到一个具备缓存能力的基站(BS),该基站为多个请求用户服务。一个关键问题是如何在内容热度动态变化下提高缓存命中率。为解决该问题,本工作的主要贡献是借助深度强化学习提出了一种新颖的动态内容更新策略。考虑到 BS 未知内容热度,所提策略根据时变请求和 BS 缓存内容动态更新 BS 缓存。为此,我们将缓存更新问题建模为马尔可夫决策过程,并提出了一种基于长短期记忆网络和外部记忆的高效算法,以增强 BS 的决策能力。仿真结果表明,所提算法不仅能获得比深度 Q 网络更高的平均奖励,还能比现有替换策略(如最近最少使用、先进先出以及基于深度 Q 网络的算法)实现更高的缓存命中率。
引用
@article{arxiv.1910.08723,
title = {Dynamic Content Update for Wireless Edge Caching via Deep Reinforcement Learning},
author = {Pingyang Wu and Jun Li and Long Shi and Ming Ding and Kui Cai and Fuli Yang},
journal= {arXiv preprint arXiv:1910.08723},
year = {2019}
}
备注
Accepted by IEEE CL