面向大规模属性图上节点表示学习抗学习偏置的标签反卷积方法
机器学习
2025-06-04 v2 人工智能
摘要
属性图（其节点关联丰富属性，如文本和蛋白序列）上的节点表示学习在许多重要的下游任务中起着关键作用。为同时编码属性与图结构，近期研究将预训练模型与图神经网络（GNNs）相集成，其中预训练模型作为节点编码器（NEs）来编码属性。由于在大规模图上联合训练大型NEs与GNNs存在严重的可扩展性问题，许多方法提出分别训练NEs与GNNs。因此，它们在NEs的训练阶段未考虑GNNs中的特征卷积，导致相对于联合训练产生显著的学习偏置。为应对该挑战，我们提出一种高效的标签正则化技术，即标签反卷积（LD），通过对GNNs逆映射的一种新颖且高度可扩展的近似来缓解学习偏置。该逆映射导出一个与联合训练等价的损失函数，同时能在NEs训练阶段有效融入GNNs以对抗学习偏置。更重要的是，我们证明在温和假设下LD收敛到联合训练的最优目标函数值。实验表明，在Open Graph Benchmark数据集上LD显著优于最先进的方法。
引用
@article{arxiv.2309.14907,
title = {Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias},
author = {Zhihao Shi and Jie Wang and Fanghua Lu and Hanzhu Chen and Defu Lian and Zheng Wang and Jieping Ye and Feng Wu},
journal= {arXiv preprint arXiv:2309.14907},
year = {2025}
}