塑造奖励，塑造路由：面向卫星星座网络的多智能体深度Q网络
网络与互联网体系结构
2024-08-06 v1 机器学习
摘要
有效的卫星星座网络路由已成为关键技术，以便处理日益增长的流量负载、更复杂的网络架构以及与6G网络的集成。为提高适应性和对不可预测流量需求的鲁棒性，并高效解决动态路由环境，正逐渐考虑采用机器学习方法。对于网络控制问题，如根据服务质量（QoS）要求优化数据包转发决策并维持网络稳定性，深度强化学习技术已展现出前景。基于此，我们考察了多智能体深度Q网络（Multi-Agent Deep Q-Networks, MADQN）用于卫星星座网络路由的可行性。我们特别关注奖励塑造和量化训练收敛，以实现时延和负载均衡的联合优化（针对静态和动态场景）。为解决识别出的缺陷，我们提出一种新型混合方案，基于集中式学习和分布式控制。
引用
@article{arxiv.2408.01979,
title = {Shaping Rewards, Shaping Routes: On Multi-Agent Deep Q-Networks for Routing in Satellite Constellation Networks},
author = {Manuel M. H. Roth and Anupama Hegde and Thomas Delamotte and Andreas Knopp},
journal= {arXiv preprint arXiv:2408.01979},
year = {2024}
}
备注
5 pages, 5 figures, to be published in proceedings of European Space Agency SPAICE Conference 2024, https://spaice.esa.int/