图不止所见:通过自监督学习通用特征
机器学习
2024-07-31 v2
摘要
我们研究通过自监督学习可泛化到多个图的特征的问题。最先进的图自监督将训练限制于仅一个图,导致图特定的模型与不同但相关的图不兼容。我们假设,使用属于同一族的多个图进行训练可以提高所学表征的质量。然而,从不同图中异构的节点/边特征学习通用特征并非易事。为应对这一挑战,我们首先用图特定的编码器将异构特征同质化,将特征转换到公共空间。然后,通用表征学习模块在该公共空间上学习可泛化特征。我们表明,与传统的单图自监督相比,我们的方法带来(1)下游节点分类上更好的性能,(2)学习可复用于同族未见图的特征,(3)更高效的训练,以及(4)紧凑且可泛化的模型。我们还展示了所提框架在相对较大图上提供这些益处的能力。在本文中,我们提出了一种原则性方法来设计基础图模型,其以端到端方式从多个图学习,同时弥合自监督与有监督性能之间的差距。
引用
@article{arxiv.2305.19871,
title = {There is more to graphs than meets the eye: Learning universal features with self-supervision},
author = {Laya Das and Sai Munikoti and Nrushad Joshi and Mahantesh Halappanavar},
journal= {arXiv preprint arXiv:2305.19871},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2302.11939, arXiv:2301.13287, arXiv:2305.12686, arXiv:2305.02299