数字孪生网络中用于随机计算卸载的深度强化学习
机器学习
2020-11-19 v2 人工智能
摘要
工业物联网(IIoT)的快速发展要求工业生产走向数字化以提高网络效率。数字孪生是一种通过创建物理对象的虚拟模型来赋能IIoT数字化转型的有前景技术。然而，由于设备资源受限、任务随机与资源异构，IIoT中网络效率的提供极具挑战。IIoT网络中的分布式资源可通过计算卸载被高效利用，以降低能耗并提升数据处理效率。本文首先提出一种新范式——数字孪生网络(DTN)，以构建IIoT系统中的网络拓扑与随机任务到达模型。接着，我们建模随机计算卸载与资源分配问题以最小化长期能效。由于所建模问题是随机规划问题，我们利用Lyapunov优化技术将原问题转化为确定性的每时隙问题。最后，我们提出异步Actor-Critic (AAC)算法以求得最优随机计算卸载策略。示例结果表明，我们所提方案显著优于基准方案。
引用
@article{arxiv.2011.08430,
title = {Deep Reinforcement Learning for Stochastic Computation Offloading in Digital Twin Networks},
author = {Yueyue Dai and Ke Zhang and Sabita Maharjan and Yan Zhang},
journal= {arXiv preprint arXiv:2011.08430},
year = {2020}
}
备注
10 pages