基于差异化联邦强化学习的空天地一体化网络流量卸载
网络与互联网体系结构
2024-07-19 v4 机器学习
摘要
空天地一体化网络（SAGIN）作为综合基础性网络通信基础设施发挥着关键作用，为实现高效全球数据传输提供了机遇。然而，鉴于 SAGIN 作为动态异构网络的独特特性，传统网络优化方法难以满足该网络环境下数据传输对网络延迟与稳定性的严苛要求。因此，本文提出使用差异化联邦强化学习（DFRL）来解决 SAGIN 中的流量卸载问题，即利用多个智能体生成差异化的流量卸载策略。考虑到 SAGIN 各区域的差异化特征，DFRL 将流量卸载策略优化过程建模为求解分散式部分可观测马尔可夫决策过程（DEC-POMDP）问题的过程。本文提出一种新颖的差异化联邦软演员-评论家（DFSAC）算法来求解该问题。DFSAC 算法以网络数据包延迟作为联合奖励值，并引入全局趋势模型作为各智能体的联合目标动作值函数以引导各智能体策略的更新。仿真结果表明，基于 DFSAC 算法的流量卸载策略在网络吞吐量、丢包率和数据包延迟方面相较于传统联邦强化学习方法及其他基线方法均取得了更优性能。
引用
@article{arxiv.2212.02075,
title = {Differentiated Federated Reinforcement Learning Based Traffic Offloading on Space-Air-Ground Integrated Networks},
author = {Yeguang Qin and Yilin Yang and Fengxiao Tang and Xin Yao and Ming Zhao and Nei Kato},
journal= {arXiv preprint arXiv:2212.02075},
year = {2024}
}
备注
Accepted to IEEE Transactions on Mobile Computing