面向 LEO 卫星星座分布式路由的 Q-learning 方法
信息论
2023-06-05 v1 math.IT
摘要
低地球轨道（LEO）卫星星座（LSatCs）中的端到端路由是一个复杂且动态的问题。其拓扑规模有限、动态且可预测，来自/去往地球并经由空间段的流量高度不均衡，且延迟在非拥塞路由中由传播时间主导，在拥塞路由中由星间链路（ISLs）的排队时间主导。传统路由算法依赖于与地面或其他卫星的过度通信，并将通往目的地的路径链路特征过度简化。我们将该问题建模为一个多智能体部分可观测马尔可夫决策问题（POMDP），其中节点（即卫星）仅与邻近节点交互。我们提出了一种分布式 Q-learning 解决方案，该方案利用邻居知识以及各节点路由决策之间的相关性。我们将结果与两种基于最短路径的集中式算法进行比较：一种旨在使用最高数据速率链路，另一种知晓所有卫星瞬时排队延迟的 genie 算法。我们的方案在各方面结果均为正向：（1）在稳态条件下经历的延迟与基准相当；（2）在不拥塞的情况下提升了可支持的流量负载；（3）它可轻松部署于 LSatC 中，因其不依赖地面段且最小化卫星间信令开销。
引用
@article{arxiv.2306.01346,
title = {Q-learning for distributed routing in LEO satellite constellations},
author = {Beatriz Soret and Israel Leyva-Mayorga and Federico Lozano-Cuadra and Mathias D. Thorsager},
journal= {arXiv preprint arXiv:2306.01346},
year = {2023}
}