基于双重深度Q学习的面向时延敏感B5G应用的通路选择与业务放置
网络与互联网体系结构
2023-09-20 v1 人工智能
新兴技术
机器学习
数值分析
数值分析
摘要
如今，随着容量需求持续增长，全新服务不断涌现。坚实的云网融合基础设施对于以实时响应且可扩展的方式提供这些服务必不可少。由于其异构特性与有限容量，通信与计算资源必须协同管理以释放其全部潜力。尽管已提出若干创新方法来编排资源，但多数忽略了网络资源或将网络简化为简单图，仅聚焦于云资源。本文通过研究通信与计算资源联合分配(称为CCRA)问题填补空白，该问题包含功能放置与分配、流量优先级排序以及考虑容量约束与质量要求的通路选择，以最小化总成本。我们将该问题建模为非线性规划模型，并提出两种基于分支定界(Branch & Bound)与水填充(Water-Filling)算法的方法，称为B&B-CCRA与WF-CCRA，在系统完全已知时求解。随后，针对部分已知系统，设计了一种双重深度Q学习(DDQL)架构。数值仿真表明，B&B-CCRA能最优求解该问题，而WF-CCRA在显著更短时间内给出近最优解。此外，结果表明DDQL-CCRA在缺乏请求特定信息时也能获得近最优解。
引用
@article{arxiv.2309.10180,
title = {Double Deep Q-Learning-based Path Selection and Service Placement for Latency-Sensitive Beyond 5G Applications},
author = {Masoud Shokrnezhad and Tarik Taleb and Patrizio Dazzi},
journal= {arXiv preprint arXiv:2309.10180},
year = {2023}
}
备注
in IEEE Transactions on Mobile Computing, 2023. arXiv admin note: text overlap with arXiv:2309.09763