随机权重在图神经网络中的有效性
机器学习
2025-02-04 v1 机器学习
摘要
图神经网络（Graph Neural Networks, GNNs）通过在消息传递层中使用学习权重，在结构化图数据上的各种任务中取得了显著的成功。本文展示了随机权重 surprisingly effective，能够在各种任务和数据集上实现与端到端训练相当的性能。具体而言，我们表明通过将可学习权重替换为随机权重，GNNs 能够保持强大的预测能力，同时将训练时间缩短最高可达 6 倍，内存使用缩短最高可达 3 倍。此外，随机权重结合我们的构建方式产生随机图传播算子，我们证明了这可以减缓 GNNs 中特征秩坍塌的问题。这些认识和实证结果突显了随机权重作为一种轻量且高效的替代方案，为 GNN 架构的设计和训练提供了具有吸引力的视角。
引用
@article{arxiv.2502.00190,
title = {On the Effectiveness of Random Weights in Graph Neural Networks},
author = {Thu Bui and Carola-Bibiane Schönlieb and Bruno Ribeiro and Beatrice Bevilacqua and Moshe Eliasof},
journal= {arXiv preprint arXiv:2502.00190},
year = {2025}
}