基于LEO卫星星座中认知延迟/中断容忍网络节点管理的强化学习
人工智能
2022-09-28 v1 机器学习
网络与互联网体系结构
摘要
近年来，随着空间航天器实体的大规模部署和卫星星上能力的提升，延迟/中断容忍网络（DTN）在网路动态性过强的情况下作为一种比 TCP/IP 更鲁棒的通信协议而出现。DTN 节点缓存管理仍是一个活跃的研究领域，因为当前 DTN 核心协议的实现仍依赖于不同网络节点中始终有足够内存来存储和转发束的假设。此外，经典排队论不适用于 DTN 节点缓存的动态管理。因此，本文提出一种基于先进强化学习（RL）策略优势 actor-critic（A2C）的集中式方法，用于自动管理低地球轨道（LEO）卫星星座场景中的认知 DTN 节点。该方法旨在探索训练一个地球同步轨道智能体来管理 LEO 卫星星座场景中的所有 DTN 节点。A2C 智能体的目标是在考虑节点内存利用率的同时最大化投递成功率和最小化网络资源消耗代价。该智能体可根据束优先级动态调整无线电数据速率并执行丢弃操作。为了衡量在 LEO 卫星星座场景中应用 A2C 技术于 DTN 节点管理问题的有效性，本文将训练后的智能体策略与另外两种非 RL 策略（包括随机策略和标准策略）进行比较。实验表明，A2C 策略平衡了投递成功率和代价，并提供了最高的奖励和最低的节点内存利用率。
引用
@article{arxiv.2209.13237,
title = {Reinforcement Learning for Cognitive Delay/Disruption Tolerant Network Node Management in an LEO-based Satellite Constellation},
author = {Xue Sun and Changhao Li and Lei Yan and Suzhi Cao},
journal= {arXiv preprint arXiv:2209.13237},
year = {2022}
}