中文

基于非对比学习的链接预测

机器学习 2023-03-30 v2 社会与信息网络

摘要

图神经网络(GNNs)领域中近期的一个焦点是图自监督学习(SSL),其目标是在无标注数据的情况下推导有用的节点表示。值得注意的是,许多最先进的图 SSL 方法是对比方法,其使用正负样本的组合来学习节点表示。由于负采样(速度慢和模型敏感性)的挑战,近期文献引入了非对比方法,其仅使用正样本。尽管此类方法在节点级任务中展现出有前景的性能,但它们对于链接预测任务(关注预测节点对之间链接的存在性,并在推荐系统场景中具有广泛适用性)的适用性尚未被探索。在本工作中,我们广泛评估了现有非对比方法在直推式和归纳式设定下用于链接预测的性能。虽然大多数现有非对比方法总体表现不佳,但我们惊讶地发现,BGRL 在直推式设定下通常表现良好。然而,其在更现实的归纳式设定下表现不佳,此时模型必须泛化到涉及未见节点的链接。我们发现非对比模型倾向于过拟合训练图,并利用该分析提出 T-BGRL,一种新颖的非对比框架,其引入廉价损坏以提升模型的泛化能力。这一简单修改在我们 6 个数据集中的 5 个上强烈提升了归纳性能,Hits@50 最高提升 120%——且速度与其他非对比基线相当,并比性能最佳的对比基线快至多 14 倍。我们的工作给出了关于非对比学习用于链接预测的有趣发现,并为未来研究者进一步拓展该领域铺平了道路。

关键词

引用

@article{arxiv.2211.14394,
  title  = {Link Prediction with Non-Contrastive Learning},
  author = {William Shiao and Zhichun Guo and Tong Zhao and Evangelos E. Papalexakis and Yozen Liu and Neil Shah},
  journal= {arXiv preprint arXiv:2211.14394},
  year   = {2023}
}

备注

ICLR 2023. 19 pages, 6 figures