One for All:面向训练单一图模型以处理所有分类任务
机器学习
2024-07-16 v3
摘要
设计单一模型以解决多个任务一直是人工智能领域的长期目标。近来,大语言模型已展现出在语言域内解决不同任务的卓越能力。然而,用于各类图任务的统一模型仍未被充分探索,主要源于图学习领域特有的挑战。首先,来自不同领域的图数据携带不同的属性并遵循不同的分布。这种差异使得难以在单一表示空间中表示图。其次,图上的任务分化为节点、连边和图任务,需要不同的嵌入策略。最后,适用于上下文学习的恰当图提示范式尚不明晰。我们提出 \textbf{One for All (OFA)},这是首个可使用单一图模型应对上述挑战的通用框架。具体而言,OFA 提出文本属性图,通过用自然语言描述节点与边来统一不同图数据,并使用语言模型将多样且可能跨领域的文本属性编码为同一嵌入空间中的特征向量。此外,OFA 引入兴趣节点概念,以单一任务表示标准化不同任务。对于图上的上下文学习,OFA 引入一种新颖的图提示范式,将提示子结构附加到输入图上,使其无需微调即可处理多样任务。我们同时使用来自多个领域(包括引文网络、分子图、知识图等)的图数据训练 OFA 模型,并评估其在监督、少样本和零样本学习场景中的能力。OFA 在不同任务上表现良好,使其成为首个跨领域通用图分类模型。
引用
@article{arxiv.2310.00149,
title = {One for All: Towards Training One Graph Model for All Classification Tasks},
author = {Hao Liu and Jiarui Feng and Lecheng Kong and Ningyue Liang and Dacheng Tao and Yixin Chen and Muhan Zhang},
journal= {arXiv preprint arXiv:2310.00149},
year = {2024}
}
备注
23 Pages, Published at ICLR 2024