异构网络中动态内容缓存的深度强化学习方法
信息论
2020-04-20 v1 信号处理
math.IT
摘要
物联网的近期发展使得动态内容的缓存成为必要，这类内容的新版本全天候可用，因此需要及时更新以保证其相关性。信息年龄（AoI）是一种评估内容新鲜度的性能指标。现有关于缓存内容更新算法 AoI 优化的工作集中于最小化所有缓存内容的长期平均 AoI。有时未来需要服务的用户请求是预先已知的，并可存储在用户请求队列中。在本文中，我们提出利用用户请求队列的动态缓存内容更新调度算法。我们考虑一个特殊用例，即深度学习模型训练得到的神经网络（NNs）被缓存在异构网络中。我们基于马尔可夫决策过程（MDP）开发了一种队列感知的缓存内容更新调度算法，以最小化交付给用户的 NNs 的平均 AoI 加上与内容更新相关的代价。通过使用深度强化学习（DRL），我们提出了一种低复杂度的次优调度算法。仿真结果表明，在相同更新频率下，我们提出的算法优于周期性缓存内容更新方案，并将平均 AoI 降低多达 35%。
引用
@article{arxiv.2004.07911,
title = {A Deep Reinforcement Learning Approach for Dynamic Contents Caching in HetNets},
author = {Manyou Ma and Vincent W. S. Wong},
journal= {arXiv preprint arXiv:2004.07911},
year = {2020}
}
备注
Accepted for publication in Proc. of IEEE International Conference on Communications (ICC), Dublin, Ireland, Jun. 2020