EdgeTimer：基于深度强化学习的移动边缘计算自适应多时间尺度调度
网络与互联网体系结构
2024-06-12 v1 分布式、并行与集群计算
摘要
在移动边缘计算(MEC)中，资源调度对于任务请求的性能和服务提供商的成本至关重要，涉及多层异构调度决策。现有调度器通常采用固定时间尺度定期更新各层调度决策，无法针对不同层进行自适应调整，导致实际应用中可能存在性能不佳的问题。我们发现，自适应时间尺度可显著改善运营成本与延迟性能之间的权衡。基于此洞察，我们提出EdgeTimer——首个利用深度强化学习(DRL)自动生成自适应时间尺度以更新多层调度决策的方案。首先，EdgeTimer采用三层层次化DRL框架，将多层决策任务解耦为一系列独立子任务，以提升学习效率。其次，为解决每个子任务，EdgeTimer采用安全多主体DRL算法实现去中心化调度，同时确保系统可靠性。我们将EdgeTimer应用于广泛的Kubernetes调度规则，并使用不同工作负载模式的生产跟踪数据进行评估。大规模基于轨迹的实验表明，EdgeTimer能够学习自适应时间尺度，无需依赖特定的工作负载模式或内置调度规则。它相较于现有方法可实现最高达9.1倍的利润提升，且未牺牲延迟性能。
引用
@article{arxiv.2406.07342,
title = {EdgeTimer: Adaptive Multi-Timescale Scheduling in Mobile Edge Computing with Deep Reinforcement Learning},
author = {Yijun Hao and Shusen Yang and Fang Li and Yifan Zhang and Shibo Wang and Xuebin Ren},
journal= {arXiv preprint arXiv:2406.07342},
year = {2024}
}