基于随机图神经网络的值分解方法用于车联网中的多智能体强化学习
多智能体系统
2023-03-24 v1
摘要
过去几十年中自动驾驶取得了令人难以置信的进展，而多智能体强化学习（MARL）有望满足无线联网车辆网络中自动驾驶车辆控制的核心需求。在 MARL 中，如何有效地将全局反馈分解为各个智能体的相对贡献是最基本的问题之一。然而，由车辆运动和无线干扰导致的环境波动性会显著塑造智能体之间时变的拓扑关系，从而使得值分解（VD）面临挑战。因此，为应对这种恼人的波动性，设计一种动态 VD 框架变得势在必行。为此，本文提出一种新颖的随机 VMIX（SVMIX）方法，在 VD 过程中考虑动态拓扑特征，并将相应组件纳入多智能体 actor-critic 架构。特别地，利用随机图神经网络（SGNN）有效捕捉拓扑特征中的潜在动态，并提升 VD 应对环境波动性的灵活性。最后，通过大量仿真验证了 SVMIX 的优越性。
引用
@article{arxiv.2303.13213,
title = {Stochastic Graph Neural Network-based Value Decomposition for MARL in Internet of Vehicles},
author = {Baidi Xiao and Rongpeng Li and Fei Wang and Chenghui Peng and Jianjun Wu and Zhifeng Zhao and Honggang Zhang},
journal= {arXiv preprint arXiv:2303.13213},
year = {2023}
}