过平滑：图对比学习的噩梦？
机器学习
2024-02-26 v2 人工智能
摘要
过平滑是图神经网络（GNNs）中观察到的一种常见现象，其中网络深度的增加导致其性能退化。图对比学习（GCL）正崭露为利用海量无标签图数据的一种有前景的方式。作为GNNs与对比学习的结合，目前仍不清楚GCL是否从GNNs继承了同样的过平滑缺陷。本工作首次从过平滑视角对GCL进行基础性分析。我们通过实验证明，在GCL中增加网络深度也会导致其深层表示乃至浅层表示中的过平滑。我们将GCL中的该现象称为“长程饥饿”，即深层网络中的较低层因缺乏来自监督的充分引导而退化。基于我们的发现，我们提出BlockGCL，一种极简却有效的分块训练框架，以防止GCL陷入臭名昭著的过平滑。无需额外技巧，BlockGCL在多个真实世界图基准上，随着层数增加，持续提升了成熟GCL方法的鲁棒性与稳定性。
引用
@article{arxiv.2306.02117,
title = {Oversmoothing: A Nightmare for Graph Contrastive Learning?},
author = {Jintang Li and Wangbin Sun and Ruofan Wu and Yuchang Zhu and Liang Chen and Zibin Zheng},
journal= {arXiv preprint arXiv:2306.02117},
year = {2024}
}
备注
Technical report; Code available at https://github.com/EdisonLeeeee/BlockGCL