基于联邦图神经网络多主体强化学习的车辆边缘计算中年龄信息优化
机器学习
2024-07-03 v1 分布式、并行与集群计算
多智能体系统
网络与互联网体系结构
摘要
随着智能车辆和智能交通系统(ITS)的快速发展，安装在智能车辆上的传感器如摄像头和 LiDAR 提供了更大的计算密集型和延迟敏感任务执行容量，从而提高了部署成本。为解决此问题，提出了车辆边缘计算(VEC)以通过路侧单元(RSU)处理数据以支持实时应用。本文将年龄信息(AoI)作为数据新鲜度的关键指标，探讨了在 RSU 通信资源受限下的车辆任务卸载问题。我们采用多主体深度强化学习(MADRL)方法，使车辆能够自主做出最优数据卸载决策。然而，MADRL 在通信学习和集中训练期间会引发车辆信息泄露风险。为缓解此问题，我们采用联邦学习(FL)框架，通过共享模型参数而非原始数据来保护车辆用户的隐私。基于此，我们提出一种创新的分布式联邦学习框架，将图神经网络(GNN)与之结合，称为联邦图神经网络多主体强化学习(FGNN-MADRL)，以优化系统中的 AoI。首次将道路场景构建为图数据结构，并提出基于 GNN 的联邦学习框架，有效结合了分布式和集中式联邦聚合。此外，我们提出了一种新的 MADRL 算法简化决策过程，提高卸载效率，进一步降低决策复杂度。仿真结果表明，我们提出的方法通过仿真实验优于其他方法。
引用
@article{arxiv.2407.02342,
title = {Optimizing Age of Information in Vehicular Edge Computing with Federated Graph Neural Network Multi-Agent Reinforcement Learning},
author = {Wenhua Wang and Qiong Wu and Pingyi Fan and Nan Cheng and Wen Chen and Jiangzhou Wang and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2407.02342},
year = {2024}
}
备注
This paper has been submitted to IEEE Journal. The source code has been released at: https://github.com/qiongwu86/Optimizing-AoI-in-VEC-with-Federated-Graph-Neural-Network-Multi-Agent-Reinforcement-Learning