探索图结构自监督任务之间的相关性
机器学习
2024-05-17 v2 人工智能
摘要
图自监督学习已引发关于在不访问任何标记数据的情况下训练信息丰富表示的研究浪潮。然而,我们对图自监督学习的了解仍有限,各种自监督任务之间的内在关系仍未探索。本文旨在基于任务相关性提供对图自监督学习的新颖理解。具体而言,我们评估了由特定任务在其他任务上训练的表示的性能,并定义相关值来量化任务相关性。通过这一过程,我们揭示了各种自监督任务之间的任务相关性,并可以衡量其表征能力,这与下游性能密切相关。通过分析跨不同数据集的任务相关性,我们揭示了任务相关性的复杂性以及现有多任务学习方法的局限性。为了获得更有能力的表示,我们提出了图任务相关性建模 (Graph Task Correlation Modeling, GraphTCM),以说明任务相关性并利用其增强图自监督训练。实验结果表明,我们的方法在各种下游任务上显著优于现有方法。
引用
@article{arxiv.2405.04245,
title = {Exploring Correlations of Self-Supervised Tasks for Graphs},
author = {Taoran Fang and Wei Zhou and Yifei Sun and Kaiqiao Han and Lvbin Ma and Yang Yang},
journal= {arXiv preprint arXiv:2405.04245},
year = {2024}
}
备注
ICML 2024 Accepted