数字孪生辅助的高效边缘任务调度强化学习
机器学习
2022-08-05 v1 人工智能
系统与控制
系统与控制
摘要
当用户将多个不同任务卸载至边缘服务器时，任务调度是一个关键问题。当用户有多个任务需卸载且一次仅能向服务器传输一个任务，而服务器按传输顺序处理任务时，该问题是 NP-hard 的。然而，传统优化方法难以快速获得最优解，而基于强化学习的方法面临动作空间过大与收敛缓慢的挑战。本文中，我们提出一种数字孪生（DT）辅助的基于 RL 的任务调度方法，以提升 RL 的性能与收敛性。我们利用 DT 模拟智能体所作不同决策的结果，使得一个智能体可一次尝试多个动作，或类似地，多个智能体可在 DT 中与环境并行交互。以此方式，RL 的探索效率可通过 DT 显著提升，从而 RL 收敛更快且更不易陷入局部最优。特别地，我们设计了两种用于任务调度决策的算法，即 DT 辅助异步 Q-learning（DTAQL）与 DT 辅助探索 Q-learning（DTEQL）。仿真结果表明，两种算法均通过提升探索效率显著加快了 Q-learning 的收敛速度。
引用
@article{arxiv.2208.01781,
title = {Digital Twin-Assisted Efficient Reinforcement Learning for Edge Task Scheduling},
author = {Xiucheng Wang and Longfei Ma and Haocheng Li and Zhisheng Yin and Tom. Luan and Nan Cheng},
journal= {arXiv preprint arXiv:2208.01781},
year = {2022}
}