面向多无人机网络AoI管理的GNN赋能部分可观测有效MARL方法
信息论
2024-09-04 v1 机器学习
多智能体系统
系统与控制
系统与控制
math.IT
摘要
无人机（UAVs）因其低成本和高灵活性，已被广泛应用于各种场景以提升网络性能。然而，在未知区域或缺乏足够先验信息的区域中，无人机轨迹优化仍面临规划性能差和分布式执行效率低的挑战。当无人机仅依赖自身观测信息及通信范围内其他无人机的信息，而无法获取全局信息时，便会产生这些挑战。为应对这些挑战，本文提出了Qedgix框架，该框架结合图神经网络（GNNs）和QMIX算法，以实现未知场景下用户信息年龄（AoI）的分布式优化。该框架利用GNN从无人机、可观测范围内的用户以及通信范围内的其他无人机中提取信息，从而实现有效的无人机轨迹规划。由于AoI指标的离散化和时序特征，Qedgix框架采用QMIX，基于集中训练与分布式执行（CTDE）范式，针对用户的平均AoI值优化分布式部分可观测马尔可夫决策过程（Dec-POMDP）。通过从AoI角度对无人机网络优化问题进行建模，并应用Kolmogorov-Arnold表示定理，Qedgix框架基于置换不变性通过参数共享实现了高效的神经网络训练。仿真结果表明，所提算法显著提高了收敛速度，同时降低了用户的平均AoI值。代码可在 https://github.com/UNIC-Lab/Qedgix 获取。
引用
@article{arxiv.2409.00036,
title = {GNN-Empowered Effective Partial Observation MARL Method for AoI Management in Multi-UAV Network},
author = {Yuhao Pan and Xiucheng Wang and Zhiyao Xu and Nan Cheng and Wenchao Xu and Jun-jie Zhang},
journal= {arXiv preprint arXiv:2409.00036},
year = {2024}
}