图对比学习的校准与改进
机器学习
2023-08-23 v2
摘要
图对比学习算法已在节点分类、链接预测和图聚类等各种应用中展现出显著成功。然而，在无监督图对比学习中，某些对比样本对可能与下游任务中的真实情况相矛盾，因此这些样本对上损失的降低会不期望地损害下游任务的性能。为了评估这些对比样本对下游任务中预测与真实情况之间的差异，我们将期望校准误差（ECE）适配到图对比学习中。对ECE的分析促使我们提出一种新颖的正则化方法Contrast-Reg，以确保降低对比损失能带来下游任务中更好的性能。作为一个插件式正则化器，Contrast-Reg有效提升了现有图对比学习算法的性能。我们提供了理论和实证结果，以证明Contrast-Reg在增强图神经网络（GNN）模型泛化能力以及在不同相似度定义和编码器骨干下跨多种下游任务改进图对比算法性能方面的有效性。
引用
@article{arxiv.2101.11525,
title = {Calibrating and Improving Graph Contrastive Learning},
author = {Kaili Ma and Haochen Yang and Han Yang and Yongqiang Chen and James Cheng},
journal= {arXiv preprint arXiv:2101.11525},
year = {2023}
}