DHRL-FNMR：一种基于深度分层强化学习的 SDN 智能组播路由方法
人工智能
2023-05-31 v1 机器学习
网络与互联网体系结构
摘要
软件定义网络（SDN）组播路由中的最优组播树问题是一个 NP 难组合优化问题。尽管现有的基于深度强化学习的 SDN 智能求解方法能够动态适应复杂的网络链路状态变化，这些方法仍受冗余分支、动作空间过大以及智能体收敛缓慢等问题困扰。本文提出一种基于深度分层强化学习的 SDN 智能组播路由算法，以规避上述问题。首先，将组播树构建问题分解为两个子问题：分叉节点选择问题，以及从分叉节点到目的节点的最优路径构建问题。其次，基于 SDN 全局网络感知的信息特征，设计组播树状态矩阵、链路带宽矩阵、链路时延矩阵、链路丢包率矩阵与子目标矩阵作为内在控制器与元控制器的状态空间。然后，为缓解过大的动作空间，我们的方法在上、下两层构建不同的动作空间。元控制器利用网络节点生成动作空间以选择分叉节点，内在控制器以当前节点的相邻边作为其动作空间，从而在组播树构建中实现四种不同的动作选择策略。为便于智能体更快速地构建最优组播树，我们设计了区分单步节点动作与面向多个目的节点的多步动作的替代奖励策略。
引用
@article{arxiv.2305.19077,
title = {DHRL-FNMR: An Intelligent Multicast Routing Approach Based on Deep Hierarchical Reinforcement Learning in SDN},
author = {Miao Ye and Chenwei Zhao and Xingsi Xue and Jinqiang Li and Hongwen Hu and Yejin Yang and Qiuxiang Jiang},
journal= {arXiv preprint arXiv:2305.19077},
year = {2023}
}