图上的预训练综述：分类体系、方法与应用
机器学习
2022-03-22 v2 社会与信息网络
生物大分子
摘要
诸如BERT之类的预训练语言模型(PLM)已彻底改变了自然语言处理(NLP)的格局。受其广泛应用的启发，大量工作投入到预训练图模型(PGM)中。得益于PGM强大的模型架构，可从海量标注与未标注图数据中捕获丰富知识。隐式编码于模型参数中的知识可惠及各类下游任务，并有助于缓解图学习中的若干基本问题。本文提供首个针对PGM的全面综述。我们首先呈现图表示学习的局限性，从而引出图预训练的动机。然后，我们基于从四个不同视角的分类体系对现有PGM进行系统归类。接着，我们介绍PGM在社会推荐与药物发现中的应用。最后，我们勾勒若干可作为未来研究指南的有前景研究方向。
引用
@article{arxiv.2202.07893,
title = {A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications},
author = {Jun Xia and Yanqiao Zhu and Yuanqi Du and Stan Z. Li},
journal= {arXiv preprint arXiv:2202.07893},
year = {2022}
}
备注
9 pages. Submitted to IJCAI 2022 (Survey Track)