迈向可泛化的图对比学习：信息论视角

图对比学习（GCL）已成为图表示学习中最具代表性的方法，其利用最大化互信息（InfoMax）的原理来学习应用于下游任务的节点表示。为探索 GCL 到下游任务的更好泛化，先前的方法启发式地定义数据增强或 pretext 任务。然而，GCL 的泛化能力及其理论原理仍鲜有报道。本文中，我们首先提出一个名为 GCL-GE 的度量来衡量 GCL 泛化能力。考虑到由于下游任务未知导致该度量难以处理，我们从信息论视角理论上证明了其互信息上界。在该上界指导下，我们设计了一个名为 InfoAdv 的具有增强泛化能力的 GCL 框架，其联合优化泛化度量与 InfoMax，以在 pretext 任务拟合与下游任务泛化能力之间取得恰当平衡。我们在多个代表性基准上实证验证了我们的理论发现，实验结果表明我们的模型取得了最先进的性能。