面向图的自动化自监督学习
机器学习
2022-03-23 v3 人工智能
摘要
图自监督学习因其学习具表达力的节点表示的能力而受到越来越多的关注。许多预文本任务或损失函数已从不同的视角被设计出来。然而，我们观察到不同预文本任务对不同数据集上的下游任务影响各异，这表明搜索预文本任务对图自监督学习至关重要。与现有聚焦于设计单一预文本任务的工作不同，本工作旨在探究如何自动且有效地利用多个预文本任务。然而，在无法直接获取真实标签的情况下评估源自多个预文本任务的表示使得该问题颇具挑战。为克服这一障碍，我们利用许多真实世界图的一个关键原理，即同配性，或“物以类聚”的原理，作为有效搜索各类自监督预文本任务的指导。我们提供了理论理解与经验证据来论证同配性在该搜索任务中的灵活性。随后我们提出 AutoSSL 框架，可自动搜索各种自监督任务的组合。通过在 7 个真实世界数据集上评估该框架，我们的实验结果表明，与在单个任务下训练相比，AutoSSL 能显著提升节点聚类与节点分类等下游任务的性能。代码发布于 https://github.com/ChandlerBang/AutoSSL。
引用
@article{arxiv.2106.05470,
title = {Automated Self-Supervised Learning for Graphs},
author = {Wei Jin and Xiaorui Liu and Xiangyu Zhao and Yao Ma and Neil Shah and Jiliang Tang},
journal= {arXiv preprint arXiv:2106.05470},
year = {2022}
}
备注
ICLR 2022