网络系统中图神经网络的全分布在线训练
机器学习
2024-12-10 v1 分布式、并行与集群计算
摘要
图神经网络（GNNs）是开发大规模网络化系统（如无线网络、电网和交通网络）中可扩展、去中心化人工智能的强大工具。当前，网络化系统中的 GNNs 多遵循“中心化训练、分布式执行”的范式，这限制了其适应性并减缓了其开发周期。本文首次通过开发一种通信高效的全分布在线训练方法，为应用于大规模网络化系统的 GNNs 填补了这一空白。对于包含 个样本的 mini-batch，我们的方法只需对 层 GNN 添加 轮消息传递，即使于 GNN 推断所需的 轮相比之下仍更少，同时采用更大的消息大小。通过在基于图的节点回归、功率分配和无线网络链路调度中的数值实验，我们展示了该方法在监督、无监督和强化学习范式下训练 GNNs 的有效性。
引用
@article{arxiv.2412.06105,
title = {Fully Distributed Online Training of Graph Neural Networks in Networked Systems},
author = {Rostyslav Olshevskyi and Zhongyuan Zhao and Kevin Chan and Gunjan Verma and Ananthram Swami and Santiago Segarra},
journal= {arXiv preprint arXiv:2412.06105},
year = {2024}
}