ExGRG：用于自监督表示学习的显式生成关系图
机器学习
2024-06-05 v2 人工智能
摘要
自监督学习 (SSL) 已成为一种强大的技术，可在不依赖昂贵的标注标签的情况下预训练深度学习模型，转而利用未标注数据中的嵌入信号。虽然 SSL 通过直观的数据增强在计算机视觉任务中取得了显著成功，但由于图增强的语义改变性和反直觉性，其在图结构数据上的应用面临挑战。为解决这一局限性，本文引入了一种新颖的非对比 SSL 方法，即显式生成组合关系图 (ExGRG)，而非仅依赖传统的基于增强的隐式关系图。ExGRG 提供了一个框架，将先验领域知识和在线提取的信息纳入 SSL 不变性目标中，其灵感来源于拉普拉斯特征映射 (Laplacian Eigenmap) 和期望最大化 (EM) 算法。采用 SSL 的 EM 视角，我们的 E 步涉及生成关系图以识别候选者来指导 SSL 不变性目标，而 M 步则通过整合导出的关系信息来更新模型参数。在多样化的节点分类数据集上进行的广泛实验证明了我们的方法优于最先进技术，证实了 ExGRG 是 SSL 在图表示学习中的有效应用。
引用
@article{arxiv.2402.06737,
title = {ExGRG: Explicitly-Generated Relation Graph for Self-Supervised Representation Learning},
author = {Mahdi Naseri and Mahdi Biparva},
journal= {arXiv preprint arXiv:2402.06737},
year = {2024}
}