YOSO：通过压缩感知实现一次性采样用于图神经网络训练
机器学习
2024-11-11 v1
摘要
图神经网络（GNN）已成为分析各领域非欧几里得数据的重要工具。在训练阶段，采样通过限制处理节点的数量在降低延迟方面发挥着重要作用，特别是在大规模应用中。然而，随着对更好预测性能需求的增长，现有的采样算法变得越来越复杂，导致显著的开销。为了缓解这一问题，我们提出了 YOSO（You-Only-Sample-Once），一种旨在实现高效训练同时保持预测精度的算法。YOSO 引入了一种基于压缩感知（CS）的采样与重建框架，节点在输入层仅采样一次，随后在每个 epoch 的输出层进行无损重建。通过将重建过程与特定学习任务的损失函数相结合，YOSO 不仅避免了传统压缩感知（CS）方法中的昂贵计算（如正交基计算），还确保了与全节点参与等效的高概率精度保持。节点分类和链接预测的实验结果证明了 YOSO 的有效性和效率，相比最先进方法将 GNN 训练平均减少 75%，同时保持与最佳基线相当的精度。
引用
@article{arxiv.2411.05693,
title = {YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training},
author = {Yi Li and Zhichun Guo and Guanpeng Li and Bingzhe Li},
journal= {arXiv preprint arXiv:2411.05693},
year = {2024}
}