多合一:图神经网络的多任务提示(扩展摘要)
机器学习
2024-03-13 v1 人工智能
摘要
本文是我们发表在 KDD23 上的原始工作的扩展摘要,该工作获得了最佳研究论文奖(Xiangguo Sun, Hong Cheng, Jia Li, Bo Liu, and Jihong Guan. All in one: Multi-task prompting for graph neural networks. KDD 23)。受 NLP 中提示学习成功的启发,本文介绍了一种弥合预训练图模型与其所应用的多样化任务之间差距的新方法。认识到将预训练模型与各种图任务(节点级、边级和图级)对齐的挑战可能导致负迁移和性能不佳,我们提出了一种针对图的多任务提示方法。该方法涉及统一图和语言提示格式,使 NLP 的提示策略能够适应图任务。通过分析图应用的任务空间,我们将问题重构为适合图级任务的形式,并应用元学习来改进多任务的提示初始化。实验表明,我们的方法在增强不同图任务上的模型性能方面是有效的。除了原始工作外,在本扩展摘要中,我们进一步从更宏观的角度讨论了图提示,并提供了一些该领域的最新工作。
引用
@article{arxiv.2403.07040,
title = {All in One: Multi-Task Prompting for Graph Neural Networks (Extended Abstract)},
author = {Xiangguo Sun and Hong Cheng and Jia Li and Bo Liu and Jihong Guan},
journal= {arXiv preprint arXiv:2403.07040},
year = {2024}
}
备注
submitted to IJCAI 2024 Sister Conferences Track. The original paper can be seen at arXiv:2307.01504