不完全系统信息下移动边缘中的在线服务迁移：一种深度循环Actor-Critic学习方法
网络与互联网体系结构
2023-01-05 v5 分布式、并行与集群计算
机器学习
摘要
多接入边缘计算（MEC）是一种新兴计算范式，将云计算扩展至网络边缘，以支持移动设备上资源密集型应用。作为MEC中的关键问题，服务迁移需要在用户在覆盖与容量受限的MEC服务器间漫游时，决定如何迁移用户服务以维持服务质量（QoS）。然而，由于动态的MEC环境与用户移动性，寻找最优迁移策略难以求解。许多现有研究基于完整系统级信息做集中式迁移决策，这耗时且缺乏理想的可扩展性。为应对这些挑战，我们提出一种新颖的驱动学习方法，其以用户为中心，可利用不完整的系统级信息做出有效的在线迁移决策。具体而言，服务迁移问题被建模为部分可观测马尔可夫决策过程（POMDP）。为求解POMDP，我们设计了一种结合长短期记忆（LSTM）与嵌入矩阵的新编码器网络以有效提取隐藏信息，并进一步提出一种定制的离策略actor-critic算法以高效训练。基于真实移动轨迹的大量实验结果表明，该新方法持续优于启发式与最先进的学习驱动算法，并能在多种MEC场景上取得近最优结果。
引用
@article{arxiv.2012.08679,
title = {Online Service Migration in Mobile Edge with Incomplete System Information: A Deep Recurrent Actor-Critic Learning Approach},
author = {Jin Wang and Jia Hu and Geyong Min and Qiang Ni and Tarek El-Ghazawi},
journal= {arXiv preprint arXiv:2012.08679},
year = {2023}
}