移动边缘计算中的基于年龄的调度：一种深度强化学习方法
机器学习
2024-02-26 v2 网络与互联网体系结构
摘要
随着移动边缘计算（MEC）的快速发展，各类实时应用已部署以惠及人们日常生活。这些应用的性能严重依赖于所收集环境信息的新鲜度，可用信息年龄（AoI）来量化。在AoI的传统定义中，假设状态信息可被主动采样并直接使用。然而，对于许多支持MEC的应用，所需状态信息以事件驱动方式更新且需要数据处理。为更好地服务这些应用，我们提出AoI的新定义，并基于重定义的AoI，为MEC系统构建了一个在线AoI最小化问题。值得注意的是，该问题可解释为马尔可夫决策过程（MDP），从而能够通过强化学习（RL）算法求解。然而，传统RL算法针对系统动态完全未知的MDP设计，因此通常收敛时间长。为加速学习过程，我们引入决策后状态（PDSs）以利用系统动态的部分知识。我们还将PDSs与深度RL结合，以进一步提升算法的适用性、可扩展性与鲁棒性。数值结果表明，我们的算法在各种场景下均优于基准方法。
引用
@article{arxiv.2312.00279,
title = {Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement Learning Approach},
author = {Xingqiu He and Chaoqun You and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2312.00279},
year = {2024}
}