GRENADE：面向文本属性图自监督表示学习的图中心语言模型
计算与语言
2023-10-24 v1
摘要
文本属性图上的自监督表示学习旨在为各种下游任务创建具表达力且可泛化的表示，近来受到越来越多的研究关注。然而，现有方法要么难以捕捉完整的结构上下文信息，要么依赖任务特定的训练标签，这在很大程度上损害了它们在实际中的有效性和泛化能力。为解决文本属性图上自监督表示学习的问题，我们提出了一种新颖的图中心语言模型——GRENADE。具体而言，GRENADE 通过两个专门的自监督学习算法（图中心对比学习和图中心知识对齐）进行优化，从而利用预训练语言模型与图神经网络的协同效应。所提出的图中心自监督学习算法有效帮助 GRENADE 捕捉文本属性图上信息丰富的文本语义以及结构上下文信息。通过大量实验，GRENADE 展现出优于最先进方法的性能。实现代码见 \url{https://github.com/bigheiniu/GRENADE}。
引用
@article{arxiv.2310.15109,
title = {GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs},
author = {Yichuan Li and Kaize Ding and Kyumin Lee},
journal= {arXiv preprint arXiv:2310.15109},
year = {2023}
}
备注
Findings of EMNLP 2023