理解并缓解图对比学习的维度坍缩：一种非最大值移除方法
机器学习
2022-05-25 v2 人工智能
摘要
图对比学习(GCL)在无人工标注监督的图表示学习(GRL)中展现出良好性能。GCL可通过最大化同一图的不同增广视图(正样本对)之间的互信息(MI)来生成图级嵌入。然而，GCL受限于维度坍缩，即嵌入向量仅占据低维子空间。本文指出，图池化的平滑效应与图卷积的隐式正则化是GCL中维度坍缩的两个成因。为缓解上述问题，我们提出一种非最大值移除图对比学习方法(nmrGCL)，该方法在预训练任务中移除对正样本对相似度度量贡献最大的“显著”维度。我们在多个基准数据集上进行了综合实验以证明nmrGCL的有效性，结果表明我们的模型优于当前最优方法。源代码将公开可用。
引用
@article{arxiv.2203.12821,
title = {On Understanding and Mitigating the Dimensional Collapse of Graph Contrastive Learning: a Non-Maximum Removal Approach},
author = {Jiawei Sun and Ruoxin Chen and Jie Li and Chentao Wu and Yue Ding and Junchi Yan},
journal= {arXiv preprint arXiv:2203.12821},
year = {2022}
}