基于软演员-评论家学习的移动边缘计算网络联合计算、推送与缓存优化
信息论
2023-09-28 v1 math.IT
摘要
移动边缘计算(MEC)网络将计算和存储能力拉近到边缘设备附近,从而降低时延并改善网络性能。然而,为进一步降低传输与计算开销并满足用户感知的体验质量,需要对计算、推送和缓存进行联合优化。在本文中,我们将MEC网络中的联合设计问题建模为无限 horizon 折扣代价马尔可夫决策过程,并采用基于深度强化学习(DRL)的框架来求解,该框架可实现计算、推送和缓存的动态编排。通过嵌入DRL结构中的深度网络,我们的框架可隐式预测用户未来请求并推送或缓存合适内容,从而有效提升系统性能。在综合考虑三项功能时我们遇到的一个问题是动作空间的维度灾难。为此,我们将离散动作空间松弛为连续空间,随后采用软演员-评论家(soft actor-critic)学习求解该优化问题,并利用矢量量化方法获得所需的离散动作。此外,提出了一种动作校正方法以进一步压缩动作空间并加速收敛。我们在通用单用户单服务器MEC网络且传输链路质量动态变化的设置下进行的仿真表明,所提框架通过主动将未来需求数据推送至用户并联合优化三项功能,有效降低了传输带宽与计算开销。我们还进行了广泛的参数调优分析,结果表明我们的方法在各种参数设置下均优于基线方法。
引用
@article{arxiv.2309.15369,
title = {Joint Computing, Pushing, and Caching Optimization for Mobile Edge Computing Networks via Soft Actor-Critic Learning},
author = {Xiangyu Gao and Yaping Sun and Hao Chen and Xiaodong Xu and Shuguang Cui},
journal= {arXiv preprint arXiv:2309.15369},
year = {2023}
}
备注
13 pages. arXiv admin note: text overlap with arXiv:2305.12099