基于同伦优化的多智能体强化学习协作式编码缓存
信息论
2020-06-25 v1 math.IT
摘要
将协作式编码缓存引入小蜂窝网络是降低业务流量的一种有前景的方法。通过最大距离可分（MDS）码对内容进行编码，编码分片可集体缓存在小蜂窝基站（SBSs）以提升缓存效率。然而，内容流行度在实践中通常是时变且未知的。因此，考虑到有限的缓存存储与SBSs之间的交互影响，期望能智能地更新缓存内容。为应对这些挑战，我们提出了一种多智能体深度强化学习（DRL）框架，以在动态环境中智能更新缓存内容。以最小化长期期望前传流量负载为目标，我们首先将动态编码缓存建模为协作式多智能体马尔可夫决策过程。由于MDS编码，所得决策问题属于一类具有连续决策变量的约束强化学习问题。为处理此困难，我们通过将同伦优化嵌入深度确定性策略梯度形式，定制构建了一种新颖的DRL算法。接下来，为使缓存框架在复杂度与性能间取得有效权衡，我们应用所推导的DRL方法提出了集中式、部分去中心化与完全去中心化的缓存控制。仿真结果证明了所提多智能体框架的优越性能。
引用
@article{arxiv.2006.13565,
title = {Multi-Agent Reinforcement Learning for Cooperative Coded Caching via Homotopy Optimization},
author = {Xiongwei Wu and Jun Li and Ming Xiao and P. C. Ching and H. Vincent Poor},
journal= {arXiv preprint arXiv:2006.13565},
year = {2020}
}
备注
Submitted to IEEE for possible publication