无增强的图对比学习：不变-判别表示
机器学习
2023-03-07 v2 人工智能
摘要
预任务主要构建于互信息估计，需要数据增强来构造语义相似的正样本以学习不变信号，以及语义相异的负样本以赋予表示判别性。然而，恰当的数据增强配置严重依赖大量经验尝试，如选择数据增强技术的组合及相应超参数设置。我们提出一种无增强的图对比学习方法，即不变-判别图对比学习（iGCL），其本质上不需要负样本。iGCL 设计不变-判别损失（ID loss）来学习不变且判别性的表示。一方面，ID loss 通过在表示空间中直接最小化目标样本与正样本间的均方误差来学习不变信号。另一方面，ID loss 通过正交约束迫使表示的不同维度彼此独立，从而确保表示具有判别性。这防止表示坍缩至一个点或子空间。我们的理论分析从冗余约简准则、典型相关分析和信息瓶颈原理的角度解释了 ID loss 的有效性。实验结果表明，iGCL 在 5 个节点分类基准数据集上优于所有基线。iGCL 在不同标签比例下也展现优越性能，并能抵御图攻击，表明其具有优异的泛化性与鲁棒性。源代码见 https://github.com/lehaifeng/T-GCN/tree/master/iGCL。
引用
@article{arxiv.2210.08345,
title = {Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative Representations},
author = {Haifeng Li and Jun Cao and Jiawei Zhu and Qinyao Luo and Silu He and Xuyin Wang},
journal= {arXiv preprint arXiv:2210.08345},
year = {2023}
}
备注
11 pages 8 figs