基于网络态势感知与深度强化学习的SDWN智能路由算法
网络与互联网体系结构
2023-05-19 v1 人工智能
摘要
由于无线网络拓扑的高度动态变化，高效获取网络状态信息并灵活转发数据以提升通信服务质量是重要挑战。本文提出一种在软件定义无线组网架构下，基于带网络态势感知的近端策略优化深度强化学习的智能路由算法（DRL-PPONSA）。首先，设计特定数据平面用于网络拓扑构建与数据转发。控制平面收集网络流量信息、下发流表，并使用GCN-GRU预测机制感知未来流量变化趋势以实现网络态势感知。其次，在知识平面设计基于DRL的数据转发机制。将预测的网络流量矩阵与拓扑信息矩阵作为DRL智能体的环境，将下一跳相邻节点作为可执行动作。据此，针对不同网络条件设计动作选择策略，以实现更智能、灵活、高效的路由控制。奖励函数利用网络链路信息及多种奖励与惩罚机制设计。此外，在梯度更新中采用重要性采样与梯度裁剪技术以提升收敛速度与稳定性。实验结果表明，DRL-PPONSA在网络吞吐量、时延、丢包率及无线节点距离方面优于传统路由方法。与基于价值函数的Dueling DQN路由相比，收敛速度显著提升，收敛效果更稳定。同时，其硬件存储空间消耗降低，并能利用当前网络状态信息实时做出高效路由决策。
引用
@article{arxiv.2305.10441,
title = {An Intelligent SDWN Routing Algorithm Based on Network Situational Awareness and Deep Reinforcement Learning},
author = {Jinqiang Li and Miao Ye and Linqiang Huang and Xiaofang Deng and Hongbing Qiu and Yong Wang},
journal= {arXiv preprint arXiv:2305.10441},
year = {2023}
}