通过信息论分解实现图嵌入平滑度在自监督学习中的平衡
机器学习
2025-04-17 v1 人工智能
摘要
图上自监督学习(SSL)近年来受到广泛关注,尤其是采用最初为其他领域设计的预文本任务(如对比学习和特征重建)的图神经网络(GNN)。然而,这些方法是否有效地反映基本图属性——即表示与其邻居的相似性——仍不明确。我们观察到,现有方法在图嵌入平滑度驱动下处于谱系的两个极端位置,每个极端对应于在特定下游任务上的优越性能。通过引入邻接表示变量的swith an information-theoretic framework将SSL目标分解为三个术语,揭示了这种极化是由于术语之间不平衡所致,而现有方法可能未能有效维持这种平衡。进一步的洞察表明,在极端之间进行平衡可导致在更广泛的下游任务上实现更佳性能。BSG(Balancing Smoothness in Graph SSL)框架引入了新的损失函数,通过平衡这三个术语(邻接损失、最小损失和发散损失)来补充图基于SSL的表示质量。我们对这些损失函数的效果进行理论分析,突出了它们在SSL和图平滑度视角下的重要性。在多个真实数据集上进行的大量实验显示,BSG在节点分类和链路预测任务上持续实现最先进的性能,超越了现有方法。我们的实现代码已发布于 https://github.com/steve30572/BSG。
引用
@article{arxiv.2504.12011,
title = {Balancing Graph Embedding Smoothness in Self-Supervised Learning via Information-Theoretic Decomposition},
author = {Heesoo Jung and Hogun Park},
journal= {arXiv preprint arXiv:2504.12011},
year = {2025}
}
备注
Accepted to the Web Conference (WWW) 2025