GraphLoRA：面向跨图迁移学习的结构感知对比低秩适配
机器学习
2025-01-08 v2 人工智能
摘要
图神经网络（GNN）在处理电子商务和社交网络等各个领域的多种图分析任务方面展现出了卓越的能力。尽管具有通用性，但 GNN 在可迁移性方面面临重大挑战，限制了其在实际应用中的效用。现有的 GNN 迁移学习研究忽略了各种图数据集之间的分布差异，在跨分布迁移时面临挑战。如何将训练良好的 GNN 有效适配到具有不同特征和结构分布的新图上，仍然是一个有待深入探索的问题。受低秩适配（LoRA）在将大型语言模型适配到各个领域方面取得成功的启发，我们提出了 GraphLoRA，这是一种有效且参数高效的方法，用于将训练良好的 GNN 迁移到不同的图领域。具体而言，我们首先提出结构感知最大均值差异（SMMD），以对齐源图和目标图之间发散的节点特征分布。此外，我们通过在预训练 GNN 旁边注入一个小型可训练 GNN 来引入低秩适配，有效弥合结构分布差距，同时缓解灾难性遗忘。另外，提出了一种结构感知正则化目标，以增强预训练 GNN 对具有稀缺监督标签的目标图的适应性。在八个真实世界数据集上的大量实验表明，GraphLoRA 仅微调 20% 的参数便优于十四个基线，甚至在截然不同的图领域之间也是如此。代码可在 https://github.com/AllminerLab/GraphLoRA 获取。
引用
@article{arxiv.2409.16670,
title = {GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning},
author = {Zhe-Rui Yang and Jindong Han and Chang-Dong Wang and Hao Liu},
journal= {arXiv preprint arXiv:2409.16670},
year = {2025}
}
备注
Accepted by KDD2025