重新思考对比图自监督学习中的谱增强
机器学习
2024-12-05 v2 人工智能
摘要
近期对比图自监督学习的兴起显著加强了对谱线索的探索。谱增强，即修改图的谱属性（如特征值或特征向量），被广泛认为能提升模型性能。然而，一个有趣的悖论出现了：基于谱域看似矛盾假设的方法却显著提升了学习性能。通过广泛的实证研究，我们发现简单的边扰动——节点级自监督学习中的随机丢边和图级自监督学习中的随机加边——始终能取得相当或更优的性能，同时计算效率显著更高。这表明，复杂谱增强的计算开销可能无法证明其实际收益的合理性。我们对浅层GNN的InfoNCE损失界限的理论分析进一步支持了这一观察。所提出的见解代表了该领域的重大飞跃，可能有助于完善对图自监督学习的理解和实现。
引用
@article{arxiv.2405.19600,
title = {Rethinking Spectral Augmentation for Contrast-based Graph Self-Supervised Learning},
author = {Xiangru Jian and Xinjian Zhao and Wei Pang and Chaolong Ying and Yimu Wang and Yaoyao Xu and Tianshu Yu},
journal= {arXiv preprint arXiv:2405.19600},
year = {2024}
}