可扩展的图自监督学习
机器学习
2024-02-16 v1 人工智能
摘要
在图的自监督学习 (SSL) 正则化方法中，计算复杂度随图节点数量和嵌入维度的增加而上升。为缓解非对比图 SSL 的可扩展性问题，我们提出了一种新方法，以降低带有体积最大化项的预训练损失函数中协方差矩阵的计算成本。我们的工作侧重于通过图节点采样或维度采样来降低与损失计算相关的成本。我们提供了理论见解，解释为何维度采样能产生准确的损失计算，并通过数学推导支持了这一新方法。我们在节点级图预测任务上构建了实验设置，由于真实世界图的规模庞大，SSL 预训练在此类任务中一直颇具挑战。实验表明，通过节点或维度采样可以降低与损失计算相关的成本，同时不会降低下游性能。我们的结果表明，采样大多能提升下游性能。我们提供了消融研究和实验分析，以厘清实验设置中不同因素的作用。
引用
@article{arxiv.2402.09603,
title = {Scalable Graph Self-Supervised Learning},
author = {Ali Saheb Pasand and Reza Moravej and Mahdi Biparva and Raika Karimi and Ali Ghodsi},
journal= {arXiv preprint arXiv:2402.09603},
year = {2024}
}