面向链接预测的可扩展预训练框架与高效适配
机器学习
2025-08-07 v1 人工智能
摘要
链接预测（Link Prediction, LP）是图机器学习中的关键任务。虽然图神经网络（Graph Neural Networks, GNNs）在 LP 方面取得了显著进展，但现有方法面临监督信息稀缺、初始化敏感以及在分布迁移下泛化差等关键挑战。我们探索预训练作为解决这些问题的方案。不同于节点分类，LP 本质上是成对任务，需要整合节点级与边级信息。本文首次系统研究这些不同模块的可迁移性，并提出一种晚期融合策略有效组合其输出以获得更佳性能。为处理预训练数据的多样性并避免负迁移，我们引入一种混合专家（Mixture-of-Experts, MoE）框架，通过独立的专家捕获数据中的不同模式，实现对预训练模型在多样化下游数据集上的无缝应用。为实现快速适配，我们开发了一种参数高效调优策略，使预训练模型能够以最小的计算开销适应未见数据集。在 16 个数据集上的实验表明，我们的方法有效，能够在低资源链接预测中实现最先进性能，同时相较于端到端训练方法取得具竞争力的结果，计算开销降低超过 10,000 倍。
引用
@article{arxiv.2508.04645,
title = {A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation},
author = {Yu Song and Zhigang Hua and Harry Shomer and Yan Xie and Jingzhe Liu and Bo Long and Hui Liu},
journal= {arXiv preprint arXiv:2508.04645},
year = {2025}
}
备注
Accepted by KDD 2025 Research Track