数字孪生辅助的深度强化学习用于切片网络在线接纳控制
机器学习
2024-10-11 v3 系统与控制
信号处理
系统与控制
摘要
5G 及后续网络中多样化无线业务的激增催生了网络切片技术。其中，接纳控制通过选择性接受业务请求，在实现面向服务的优化目标方面发挥关键作用。尽管深度强化学习（DRL）因其有效性与灵活性成为众多接纳控制方法的基础，但 DRL 模型初期的稳定性不足与收敛延迟过长阻碍了其在实际网络中的部署。我们提出一种数字孪生（DT）加速的 DRL 方案以解决该问题。具体而言，我们首先将接纳决策过程建模为半马尔可夫决策过程，随后简化为等价的离散时间马尔可夫决策过程，以便于 DRL 方法实现。建立基于神经网络的 DT，其为排队系统定制输出层，通过监督学习训练，并用于辅助 DRL 模型的训练阶段。大量仿真表明，与直接训练的最先进对决深度 Q 学习模型相比，DT 加速的 DRL 将资源利用率提升了 40% 以上，且在保持模型优化接纳过程长期奖励能力的同时实现了该提升。
引用
@article{arxiv.2310.09299,
title = {Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network},
author = {Zhenyu Tao and Wei Xu and Xiaohu You},
journal= {arXiv preprint arXiv:2310.09299},
year = {2024}
}
备注
13 pages, 8 figures, in IEEE Transactions on Communications