从典型相关分析到自监督图神经网络
机器学习
2021-10-29 v2
摘要
我们提出了一种概念上简单而有效的图数据自监督表示学习模型。它遵循先前通过数据增强生成输入图的两个视图的方法。然而，与关注实例级判别的对比方法不同，我们受经典典型相关分析启发，优化了一个创新的特征级目标。与其他工作相比，我们的方法不需要参数化的互信息估计器、额外的投影头、非对称结构，最重要的是，不需要可能代价高昂的负样本。我们表明，新目标本质上 1) 旨在通过学习不变表示来丢弃增强变异信息，以及 2) 可以通过去相关不同维度中的特征来防止退化解。我们的理论分析进一步提供了对新目标的理解，它可以被等价地视为自监督设定下信息瓶颈原理的一个实例。尽管简单，我们的方法在七个公开图数据集上表现具有竞争力。代码见：https://github.com/hengruizhang98/CCA-SSG。
引用
@article{arxiv.2106.12484,
title = {From Canonical Correlation Analysis to Self-supervised Graph Neural Networks},
author = {Hengrui Zhang and Qitian Wu and Junchi Yan and David Wipf and Philip S. Yu},
journal= {arXiv preprint arXiv:2106.12484},
year = {2021}
}
备注
Accepted by NeurIPS 2021 main conference