图构象自监督学习是否存在神经尺度定律？
机器学习
2024-08-28 v2 人工智能
摘要
自监督学习（Self-supervised learning, SSL）是通过有效利用大规模无标签数据而在NLP和CV领域获取基础模型的关键技术。其成功原因在于，合适的SSL设计能够使模型遵循神经尺度定律，即随模型和数据规模的增加，性能持续提升。然而，现有图构象领域的SSL技术是否能够向构建具有大规模预训练的图形基础模型（Graph Foundation Models, GFMs）的目标靠拢，这仍是一个谜。本研究考察了现有的图形SSL技术是否能够遵循神经尺度行为，以其潜在的服务于GFMs构建的作用。我们的基准测试包括对全面SSL技术实现的评估，并在常规SSL设置以及其他领域新采用的众多新设置下进行分析。令人惊讶的是，尽管SSL损失持续降低，现有的图形SSL技术在下游性能上均未遵循神经尺度行为。模型性能仅在不同数据规模和模型规模之间微小波动。相反，影响性能的关键因素在于模型架构选择和预热任务设计的决定。本文考察了现有SSL技术在开发GFMs方面的可行性，为图形SSL设计开辟了新的方向，并提出了新的评估原型。我们的代码实现已在线上公开，以便于在https://github.com/GraphSSLScaling/GraphSSLScaling上实现可重复性。
引用
@article{arxiv.2408.11243,
title = {Do Neural Scaling Laws Exist on Graph Self-Supervised Learning?},
author = {Qian Ma and Haitao Mao and Jingzhe Liu and Zhehua Zhang and Chunlin Feng and Yu Song and Yihan Shao and Yao Ma},
journal= {arXiv preprint arXiv:2408.11243},
year = {2024}
}