DAGPrompT：通过分布感知图提示调优方法挑战图提示的极限
机器学习
2025-01-28 v1 人工智能
摘要
预训练后微调方法通过使图神经网络（GNN）能够在无需任务特定标签的情况下捕获通用知识而取得了进展。然而，预训练与下游任务之间的目标差距限制了其效果。最近的图提示方法通过任务重构和可学习提示旨在缩小这一差距。尽管如此，这些方法在处理复杂图（如异质性图）时仍存在挑战。冻结GNN编码器会降低提示的影响，而简单的提示难以处理各种跳数级别的分布。本文识别了在为复杂图适配图提示方法的两个关键挑战：（1）适应下游任务中的新分布，以缓解因异质性导致的预训练与微调之间的差异；（2）为跳数特定的节点需求定制提示。为克服这些挑战，我们提出了分布感知图提示调优（DAGPrompT），其集成了用于优化GNN编码器投影矩阵和消息传递模式的GLoRA模块，通过低秩适配实现。DAGPrompT还包含考虑各跳数之间不同图结构和分布的跳数特定提示。评估在10个数据集和14个基线上进行，表明DAGPrompT在节点和图分类任务中准确率提升最高可达4.79个百分点，同时保持了效率，达到了新的状态-of-the-art。代码已在GitHub上提供。
引用
@article{arxiv.2501.15142,
title = {DAGPrompT: Pushing the Limits of Graph Prompting with a Distribution-aware Graph Prompt Tuning Approach},
author = {Qin Chen and Liang Wang and Bo Zheng and Guojie Song},
journal= {arXiv preprint arXiv:2501.15142},
year = {2025}
}
备注
To be published in WWW '25, April 28-May 2, 2025, Sydney, NSW, Australia