一种用于节点表示的对比学习简化框架
机器学习
2023-05-02 v1 人工智能
摘要
对比学习近来已成为一种强大的自监督学习框架，用于提取丰富且通用的数据表示。广义而言，对比学习依赖数据增强方案生成输入数据的两个版本，并通过最大化归一化温度缩放交叉熵损失（NT-Xent）来学习低维表示，以识别对应于同一原始实体的增强样本。本文中，我们研究了将对比学习与图神经网络结合部署以嵌入图中节点的潜力。具体而言，我们表明，通过对嵌入矩阵进行简单的列级后处理，而非大多数同类方法所采用的通过多层感知机（MLP）的行级后处理，可显著改善所得嵌入的质量与训练时间。该修改在下游分类任务中带来高达 1.5% 的提升，并在 8 个不同基准中的 6 个上甚至超越了现有的最先进（state-of-the-art）方法。我们通过重新审视“对齐性与均匀性范式”来论证后处理的选择，并表明列级后处理改善了嵌入的“对齐性”与“均匀性”。
引用
@article{arxiv.2305.00623,
title = {A Simplified Framework for Contrastive Learning for Node Representations},
author = {Ilgee Hong and Huy Tran and Claire Donnat},
journal= {arXiv preprint arXiv:2305.00623},
year = {2023}
}