具有分布式在线学习的宽深图神经网络
机器学习
2022-08-31 v2 信号处理
摘要
图神经网络（GNNs）是从网络数据学习表示的天然分布式架构。这使它们成为去中心化任务的合适候选。在这些场景中，底层图常因链路故障或拓扑变化而随时间改变，导致 GNN 所训练的图与其所测试的图之间存在失配。可利用在线学习在测试时重新训练 GNN 以克服此问题。然而，大多数在线算法是集中式的，且通常仅对凸问题提供保证，而 GNN 很少导致凸问题。本文提出宽深 GNN（WD-GNN），一种可用分布式在线学习机制更新的新型架构。WD-GNN 由两个组件构成：宽部分为线性图滤波器，深部分为非线性 GNN。在训练时，联合宽深架构从数据中学习非线性表示。在测试时，宽线性部分被重新训练，而深非线性部分保持固定。这常导致凸公式。我们进一步提出一种可在去中心化设置中实现的分布式在线学习算法。我们还展示了 WD-GNN 对底层图变化的稳定性，并分析了所提在线学习过程的收敛性。在电影推荐、源定位和机器人群控上的实验证实了理论发现，并展示了 WD-GNN 在分布式在线学习上的潜力。
引用
@article{arxiv.2107.09203,
title = {Wide and Deep Graph Neural Network with Distributed Online Learning},
author = {Zhan Gao and Fernando Gama and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:2107.09203},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2006.06376